데이터 분석가 Damla's blog

그로스 해킹이라는 직접적인 단어보다는, 그 기법들 (A/B테스트, 리텐션, 코호트분석, AARRR 등)을 많이 들어봤을 거에요. 데이터 분석가 채용공고에서 많이 보이는 분석 기법인 만큼 하니씩 배워보려고 합니다! 1. 그로스 해킹 (Growth Hacking)의 정의Growth (성장) + Hacking (해킹하다) : 성장할 수 있는 법을 '해킹'하는 방법이라고 직역할 수 있어요. 이전에는 그로스해킹팀, 그로스해커와 같이 그로스해킹을 기법으로 보지 않고 직무나 팀명으로 많이 사용했는 데요, BUT, 지금은 그로스해킹에서 사용하는 분석기법을 데이터 관련 직무에서 차용해서 많이 사용합니다. 2. 그로스해킹의 등장배경Before: 과거 2차 산업(제조업)시기에는 제품을 기획 -> 생산 -> 판매하는 일련의..

부제: Redshift로 데이터 마트 만들고 BI툴과 연동하기 (또는 CSV로 우회한 과정까지)목차프로젝트 목표스타 스키마란?Redshift에서 Fact / Dimension 테이블 만들기무료 BI툴 탐색 및 비교BI툴 연동 실패 및 CSV 대안 사용기마무리하며1. 프로젝트 목표이번 단계에서는 Redshift에 저장된 데이터를 분석 목적에 맞게 재구성(스타 스키마 설계)하고, BI툴로 시각화하는 실습을 진행했다. 목표는 단순 저장된 데이터를 그대로 쓰는 것이 아니라, 분석 및 대시보드 제작에 적합한 형태로 가공 → 시각화까지 이어가는 것이다.2. 스타 스키마란?스타 스키마(Star Schema)는 데이터 마트 설계 시 자주 사용하는 구조로, 중앙에 하나의 Fact Table을 두고 그 주변에 Dimens..

부제: "실무감각으로 익혀보는 Data warehouse 만들어보기 - Redshift 생성하고, S3에서 데이터 옮기기" 목차프로젝트 목표Redshift 개요 및 사용 이유Redshift Serverless 생성하기S3 버킷 생성 및 CSV 파일 업로드Redshift Query Editor로 COPY 실행내가 겪은 오류와 해결 과정마무리하며1. 프로젝트 목표RDS에서 데이터를 다뤄본 다음 단계로, 이제는 데이터 웨어하우스(DW)를 만들었다. 목표는 S3에 저장한 데이터를 Redshift로 옮겨서, 분석/시각화를 위한 기본 데이터 저장소를 만드는 것이다.2. Redshift 개요 및 사용 이유Redshift는 AWS에서 제공하는 컬럼 기반의 데이터 웨어하우스 서비스다.대용량 데이터를 분석하기에 최적화되어..

부제: “실무감각으로 익히는 RDS 기본 조작 실습 - 생성하고, Python으로 CREATE부터 DROP까지" 📂 목차프로젝트 소개 및 사용 도구AWS RDS 구성 개요Python으로 RDS 접속을 위한 네트워크 설정Python에서 RDS 연결하기SQL 기본 명령어 실행문제 발생 시 해결 팁마무리하며1. 프로젝트 소개 및 사용 도구데이터 사이언티스트가 되려면 데이터 엔지니어링 기초인 기본적인 구조와 도구를 이해하고 직접 조작해보는 연습이 필요하다고 생각했다. 그래서 AWS RDS를 통해 실제 DB 인스턴스를 구성하고, Python으로 접속해 SQL을 실행하는 미니 프로젝트를 진행했다. 사용 언어 및 라이브러리 정보:AWS RDS (MySQL)PythonSQL 쿼리 (CREATE, INSERT, DRO..

데이터 엔지니어링은 사실 백엔드와 가까운 영역이다. 데이터 엔지니어는 데이터 관련 직무군이 빅데이터와 함께 급부상할 때, 같이 등장한 직군으로서, 데이터를 사내 구성원이 분석에 활용할 수 있도록 (데이터 분석가, 사이언티스트 포함) 데이터를 끌어다 쉽게 쓸수 있는 파이프라인을 구축하는 직무이다. 백엔드 언어(Python)을 주로 사용해서, 백엔드 직무에서 많이 전향한다고 한다. 나도 데이터 사이언티스트가 목표인 사람으로서, 기본적인 데이터 엔지니어링 이론을 학습하였고 이것을 기록하고자 한다 1. 데이터 엔지니어링 관련 기본서를 읽는다 - 기본서를 읽는 목적은 데이터 엔지니어링의 기본적인 틀을 익히기 위함이다. 세세하게 어떤 툴을 쓰고 툴을 쓰는 방식을 알기 위함이 아니다. - 내가 읽은 기본서는 ..

데이터 분석 입문자, 머신러닝 공부 중인 분들, 그리고 셀프 스터디로 실력을 키우고 싶은 분들께 실무에 가까운 분석 흐름을 소개하고자 작성함.  아래 글에서는 교육 데이터를 활용해 학생 성적 예측 모델을 구축하는 머신러닝 회귀 프로젝트를 진행했으며, 분석 흐름과 예측 성능을 정리했음. 이 프로젝트는 Kaggle의 공개된 교육 데이터를 기반으로 하여, 교육 데이터 분석과 회귀 모델 비교를 실습하고자 하는 학습자에게 좋은 예제가 될 수 있음. 머신러닝 입문 실습을 진행하거나 실무 데이터 분석 예제를 찾는 독자에게도 적합함.✔ 프로젝트 개요주제: 학생의 점심 급식 유형, 학부모 교육 수준 등의 정보를 바탕으로 평균 성적 예측활용 목적: 개인 맞춤형 학습 설계, 등록 절차 간소화 등 서비스 자동화에 활용 가능사..

빅데이터, 텍스트 마이닝(Text Mining), 자연어 처리(NLP), 그리고 감정 분석(Sentiment Analysis) 분야에 관심 있는 분들과 저의 경험을 공유하고자 미니 프로젝트를 진행함. 데이터 분석을 공부하면서, 실제 데이터를 어떻게 활용할 수 있을까와 적은 데이터라도 수집부터 분석, 인사이트 도출까지 전체적인 사이클을 경험하기 위한 목적에서 진행하였음. 아래 분석은 국제 배송대행 서비스인 Delivered Korea의 리뷰 데이터를 수집하여 텍스트 마이닝 기반의 감정 분석을 진행하였으며, 해당 분석은 비정형 데이터 분석, 텍스트 분석(Text Analysis), 셀프 스터디 데이터 분석을 진행하려는 분들이 참고할 수 있을 것. 또한, 이 글은 데이터 분석을 공부하고 있는 분들, 특히 아래..

머신러닝(Machine Learning)과 딥러닝(Deep Learning)을 비교해보았다. 머신러닝은 딥러닝을 포함하는 큰 개념이다. 머신러닝은 Y(결과값)이 숫자 라면 회귀문제이고, 범주(ex. 성공 | 실패)과 같이 구분된 그룹이라면 분류 문제인 것과 같이, 도출하고자 하는 결과값의 특성에 따라 문제를 해결할 모델을 정하기만 하면 된다.반면에 딥러닝은 입력층과 출력층 외에도 그 안의 은닉층(node)의 수, 가중치의 수, 학습 횟수, Learning Rate, 손실함수와 같이 매우 많은 학습 요소들을 모델을 설정하는 작업자가 선택해야한다. 그 외의 요소들을 표로 비교 하면, 아래와 같다구분머신러닝(ML)딥러닝(DL)정의데이터에서 패턴을 학습하여 예측하는 알고리즘들의 결합을 말한다.인공신경(ANN)을..

AI가 중요한 기술 트랜드가 되면서, 나도 AI 대열에 합류하고자 하는 열망이 생겼다.우선 내 공부의 방향을 설정하기에 앞서 관련 직무를 살펴 보았다. 1. AI관련 직무 리스트2. 데이터 사이언티스트와 AI엔지니어 비교해보기3. 데이터 사이언티스트와 AI엔지니어가 되려면 갖춰야 하는 것 1. AI관련 직무 리스트2개의 직업 모두 AI관련 직업에 포함되며 관련 직무는 아래와 같이 매우 다양하다.데이터 사이언티스트, 머신러닝 엔지니어, AI 데이터 엔지니어, AI 비즈니스 애널리스트, AI 연구원위 직무들의 업무 요약데이터 사이언티스트 : 머신러닝 모델 개발 및 데이터 분석 업무머신러닝 엔지니어 : 머신러닝 모델 설계, 배포 및 최적화 업무AI 엔지니어 : AI 모델 설계, 개발, 배포 및 유지관리AI 데..

딥러닝은 결국 "텐서 간의 연산의 값을 비교하는 과정"이라고 볼 수 있다. 그렇기 때문에 딥러닝의 스칼라 부터 텐서를 정리해보았다. 1. 0 ~ 4차원을 나타내는 단어의 정의2. numpy 혹은 Torch로 나타내는 만드는 방법 3. 궁금증 해소 : 3D 텐서를 선언해서 만들면 실제로 어떤 형태일까? 1. 0 ~ 4차원을 나타내는 단어의 정의차원은 행렬의 구성이 한 개일때 부터 여러개이거나 여러개로 쌓여있는 형태를 말한다.Scalar(스칼라) : 0D : 숫자 하나를 나타내는 형태Vector(벡터) : 1D : 행은 여러개 열은 1개인 형태Matrix(메트릭스) : 2D : 행과 열 모두 1개 초과인 형태Tensor(텐서) : 3 ~ nd : 행과 열이 여러개인 것이 여러번 쌓여있는 형태그림으로 이해하기..