데이터 분석가 Damla's blog

부제: “RDS에 저장된 데이터, Python으로 CREATE부터 DROP까지”📂 목차프로젝트 소개 및 사용 도구AWS RDS 구성 개요사용 언어: Python, MySQL, PostgreRDS 접속을 위한 설정인스턴스 생성, 보안 그룹 설정, 연결 정보 정리Python에서 RDS 연결하기커넥션 예제 코드 + 실습SQL 기본 명령어 실행CREATE / ALTER / DROP / INSERT 실습문제 발생 시 해결 팁접속 에러, 인코딩 문제, 권한 오류 등1. 프로젝트 소개 및 사용 도구데이터 사이언티스트가 되려면 데이터 엔지니어링 기초인 기본적인 구조와 도구를 이해하고 직접 조작해보는 연습이 필요하다고 생각했다. 그래서 AWS RDS를 통해 실제 DB 인스턴스를 구성하고, Python으로 접속해 SQL..

데이터 엔지니어링은 사실 백엔드와 가까운 영역이다. 데이터 엔지니어는 데이터 관련 직무군이 빅데이터와 함께 급부상할 때, 같이 등장한 직군으로서, 데이터를 사내 구성원이 분석에 활용할 수 있도록 (데이터 분석가, 사이언티스트 포함) 데이터를 끌어다 쉽게 쓸수 있는 파이프라인을 구축하는 직무이다. 백엔드 언어(Python)을 주로 사용해서, 백엔드 직무에서 많이 전향한다고 한다. 나도 데이터 사이언티스트가 목표인 사람으로서, 기본적인 데이터 엔지니어링 이론을 학습하였고 이것을 기록하고자 한다 1. 데이터 엔지니어링 관련 기본서를 읽는다 - 기본서를 읽는 목적은 데이터 엔지니어링의 기본적인 틀을 익히기 위함이다. 세세하게 어떤 툴을 쓰고 툴을 쓰는 방식을 알기 위함이 아니다. - 내가 읽은 기본서는 ..

데이터 분석 입문자, 머신러닝 공부 중인 분들, 그리고 셀프 스터디로 실력을 키우고 싶은 분들께 실무에 가까운 분석 흐름을 소개하고자 작성함.  아래 글에서는 교육 데이터를 활용해 학생 성적 예측 모델을 구축하는 머신러닝 회귀 프로젝트를 진행했으며, 분석 흐름과 예측 성능을 정리했음. 이 프로젝트는 Kaggle의 공개된 교육 데이터를 기반으로 하여, 교육 데이터 분석과 회귀 모델 비교를 실습하고자 하는 학습자에게 좋은 예제가 될 수 있음. 머신러닝 입문 실습을 진행하거나 실무 데이터 분석 예제를 찾는 독자에게도 적합함.✔ 프로젝트 개요주제: 학생의 점심 급식 유형, 학부모 교육 수준 등의 정보를 바탕으로 평균 성적 예측활용 목적: 개인 맞춤형 학습 설계, 등록 절차 간소화 등 서비스 자동화에 활용 가능사..

빅데이터, 텍스트 마이닝(Text Mining), 자연어 처리(NLP), 그리고 감정 분석(Sentiment Analysis) 분야에 관심 있는 분들과 저의 경험을 공유하고자 미니 프로젝트를 진행함. 데이터 분석을 공부하면서, 실제 데이터를 어떻게 활용할 수 있을까와 적은 데이터라도 수집부터 분석, 인사이트 도출까지 전체적인 사이클을 경험하기 위한 목적에서 진행하였음. 아래 분석은 국제 배송대행 서비스인 Delivered Korea의 리뷰 데이터를 수집하여 텍스트 마이닝 기반의 감정 분석을 진행하였으며, 해당 분석은 비정형 데이터 분석, 텍스트 분석(Text Analysis), 셀프 스터디 데이터 분석을 진행하려는 분들이 참고할 수 있을 것. 또한, 이 글은 데이터 분석을 공부하고 있는 분들, 특히 아래..

머신러닝(Machine Learning)과 딥러닝(Deep Learning)을 비교해보았다. 머신러닝은 딥러닝을 포함하는 큰 개념이다. 머신러닝은 Y(결과값)이 숫자 라면 회귀문제이고, 범주(ex. 성공 | 실패)과 같이 구분된 그룹이라면 분류 문제인 것과 같이, 도출하고자 하는 결과값의 특성에 따라 문제를 해결할 모델을 정하기만 하면 된다.반면에 딥러닝은 입력층과 출력층 외에도 그 안의 은닉층(node)의 수, 가중치의 수, 학습 횟수, Learning Rate, 손실함수와 같이 매우 많은 학습 요소들을 모델을 설정하는 작업자가 선택해야한다. 그 외의 요소들을 표로 비교 하면, 아래와 같다구분머신러닝(ML)딥러닝(DL)정의데이터에서 패턴을 학습하여 예측하는 알고리즘들의 결합을 말한다.인공신경(ANN)을..

AI가 중요한 기술 트랜드가 되면서, 나도 AI 대열에 합류하고자 하는 열망이 생겼다.우선 내 공부의 방향을 설정하기에 앞서 관련 직무를 살펴 보았다. 1. AI관련 직무 리스트2. 데이터 사이언티스트와 AI엔지니어 비교해보기3. 데이터 사이언티스트와 AI엔지니어가 되려면 갖춰야 하는 것 1. AI관련 직무 리스트2개의 직업 모두 AI관련 직업에 포함되며 관련 직무는 아래와 같이 매우 다양하다.데이터 사이언티스트, 머신러닝 엔지니어, AI 데이터 엔지니어, AI 비즈니스 애널리스트, AI 연구원위 직무들의 업무 요약데이터 사이언티스트 : 머신러닝 모델 개발 및 데이터 분석 업무머신러닝 엔지니어 : 머신러닝 모델 설계, 배포 및 최적화 업무AI 엔지니어 : AI 모델 설계, 개발, 배포 및 유지관리AI 데..

딥러닝은 결국 "텐서 간의 연산의 값을 비교하는 과정"이라고 볼 수 있다. 그렇기 때문에 딥러닝의 스칼라 부터 텐서를 정리해보았다. 1. 0 ~ 4차원을 나타내는 단어의 정의2. numpy 혹은 Torch로 나타내는 만드는 방법 3. 궁금증 해소 : 3D 텐서를 선언해서 만들면 실제로 어떤 형태일까? 1. 0 ~ 4차원을 나타내는 단어의 정의차원은 행렬의 구성이 한 개일때 부터 여러개이거나 여러개로 쌓여있는 형태를 말한다.Scalar(스칼라) : 0D : 숫자 하나를 나타내는 형태Vector(벡터) : 1D : 행은 여러개 열은 1개인 형태Metrix(메트릭스) : 2D : 행과 열 모두 1개 초과인 형태Tensor(텐서) : 3 ~ nd : 행과 열이 여러개인 것이 여러번 쌓여있는 형태그림으로 이해하기..

오늘은 티스토리를 만든 후 누적 조회수가 1만명을 넘어서 기념으로 글을 쓰고자 한다. 1. 숫자로 보는 내 블로그2. 가장 많은 조회수를 기록한 글이 무엇일까?3. 1만명을 넘어가면서 내가 남겼던 기록들에 대한 회고 에 대한 내용을 다룰 예정이다.1. 숫자로 보는 내 블로그운영 기간 : 2022년도 부터 ~ 지금까지 (년으로 3년간 운영중이다!)지금까지 작성한 글 수 : 42개내가 다루었던 주제들 :데이터 분석용 툴에 대한 TIL형식의 글 : 20개파이썬, SQL, 통계데이터 직무 관련 생각 및 정보 : 22개업무를 하면서 느낀 생각 혹은 개인 회고세미나 후기 2. 가장 많은 조회수를 기록한 글이 무엇일까?[파이썬_오류사전] str object is not callable내가 쓴 전체 43개의 글 중에서..

1. [기본 정의] 데이터 타입 설명  2. [본문] 비트의 의미와 크기에 따른 장단점1. [기본 정의] 데이터 타입 설명파이썬에서 기본적으로 활용하는 데이터 타입이 있음. 대표적인 타입으로는 아래 4개가 있음 - Boolean (bool) : 논리형 True | False 값으로 나타낸 데이터 형식- String (str) : 문자열 (문자일 경우 따옴표로 데이터 값이 출력됨)- Float (float) : 부동소수점 (Floating point, 소수점이하의 값을 포함한 형태) _ ex) 1.2345687- Integer (int) : 정수형  (integer, 정수형태로 소수점이하 값을 포함하지 않는 형태) _ ex) 12345- Complex(complex) : 복소수 표현 (complex, 실수..

파이썬을 하다보면 가장 기초로 만나게되는 친구들이 리스트, 튜플, 딕셔너리이다. 각각의 정의와 특징, 생성법을 아주 간단하게 작성해 보려고 한다. 작성하는 목적은 나중에 내가 잊었을 때 복기 하기위함이다. 1. List (리스트)생성법 : list_name = [1,2,4,"a","b"]생성할 리스트명 = 대괄호 (Square Brackets)으로 그 안의 데이터를 포함한다.2. tuple (튜플)생성법 : tuple_name = (1,2,6,7,8,"a","E")생성할 튜플명 = 소괄호(Round Brackets)으로 그안의 데이터를 포함한다.[잠깐!] 그렇다면 튜플과 리스트는 무엇이 다른 것일까?리스트는 다양한 파이썬 내장함수들(.isupper, .replace., .capitalize .etc)을 ..