데이터 분석가 Damla's blog

부제: Redshift로 데이터 마트 만들고 BI툴과 연동하기 (또는 CSV로 우회한 과정까지)목차프로젝트 목표스타 스키마란?Redshift에서 Fact / Dimension 테이블 만들기무료 BI툴 탐색 및 비교BI툴 연동 실패 및 CSV 대안 사용기마무리하며1. 프로젝트 목표이번 단계에서는 Redshift에 저장된 데이터를 분석 목적에 맞게 재구성(스타 스키마 설계)하고, BI툴로 시각화하는 실습을 진행했다. 목표는 단순 저장된 데이터를 그대로 쓰는 것이 아니라, 분석 및 대시보드 제작에 적합한 형태로 가공 → 시각화까지 이어가는 것이다.2. 스타 스키마란?스타 스키마(Star Schema)는 데이터 마트 설계 시 자주 사용하는 구조로, 중앙에 하나의 Fact Table을 두고 그 주변에 Dimens..

부제: "실무감각으로 익혀보는 Data warehouse 만들어보기 - Redshift 생성하고, S3에서 데이터 옮기기" 목차프로젝트 목표Redshift 개요 및 사용 이유Redshift Serverless 생성하기S3 버킷 생성 및 CSV 파일 업로드Redshift Query Editor로 COPY 실행내가 겪은 오류와 해결 과정마무리하며1. 프로젝트 목표RDS에서 데이터를 다뤄본 다음 단계로, 이제는 데이터 웨어하우스(DW)를 만들었다. 목표는 S3에 저장한 데이터를 Redshift로 옮겨서, 분석/시각화를 위한 기본 데이터 저장소를 만드는 것이다.2. Redshift 개요 및 사용 이유Redshift는 AWS에서 제공하는 컬럼 기반의 데이터 웨어하우스 서비스다.대용량 데이터를 분석하기에 최적화되어..

부제: “실무감각으로 익히는 RDS 기본 조작 실습 - 생성하고, Python으로 CREATE부터 DROP까지" 📂 목차프로젝트 소개 및 사용 도구AWS RDS 구성 개요Python으로 RDS 접속을 위한 네트워크 설정Python에서 RDS 연결하기SQL 기본 명령어 실행문제 발생 시 해결 팁마무리하며1. 프로젝트 소개 및 사용 도구데이터 사이언티스트가 되려면 데이터 엔지니어링 기초인 기본적인 구조와 도구를 이해하고 직접 조작해보는 연습이 필요하다고 생각했다. 그래서 AWS RDS를 통해 실제 DB 인스턴스를 구성하고, Python으로 접속해 SQL을 실행하는 미니 프로젝트를 진행했다. 사용 언어 및 라이브러리 정보:AWS RDS (MySQL)PythonSQL 쿼리 (CREATE, INSERT, DRO..

데이터 엔지니어링은 사실 백엔드와 가까운 영역이다. 데이터 엔지니어는 데이터 관련 직무군이 빅데이터와 함께 급부상할 때, 같이 등장한 직군으로서, 데이터를 사내 구성원이 분석에 활용할 수 있도록 (데이터 분석가, 사이언티스트 포함) 데이터를 끌어다 쉽게 쓸수 있는 파이프라인을 구축하는 직무이다. 백엔드 언어(Python)을 주로 사용해서, 백엔드 직무에서 많이 전향한다고 한다. 나도 데이터 사이언티스트가 목표인 사람으로서, 기본적인 데이터 엔지니어링 이론을 학습하였고 이것을 기록하고자 한다 1. 데이터 엔지니어링 관련 기본서를 읽는다 - 기본서를 읽는 목적은 데이터 엔지니어링의 기본적인 틀을 익히기 위함이다. 세세하게 어떤 툴을 쓰고 툴을 쓰는 방식을 알기 위함이 아니다. - 내가 읽은 기본서는 ..