목록파이썬(Python)/Data Engineering (2)

데이터 분석가 Damla's blog

[Step 1] AWS RDS 연동: Python으로 데이터베이스 다루기

부제: “RDS에 저장된 데이터, Python으로 CREATE부터 DROP까지”📂 목차프로젝트 소개 및 사용 도구AWS RDS 구성 개요사용 언어: Python, MySQL, PostgreRDS 접속을 위한 설정인스턴스 생성, 보안 그룹 설정, 연결 정보 정리Python에서 RDS 연결하기커넥션 예제 코드 + 실습SQL 기본 명령어 실행CREATE / ALTER / DROP / INSERT 실습문제 발생 시 해결 팁접속 에러, 인코딩 문제, 권한 오류 등1. 프로젝트 소개 및 사용 도구데이터 사이언티스트가 되려면 데이터 엔지니어링 기초인 기본적인 구조와 도구를 이해하고 직접 조작해보는 연습이 필요하다고 생각했다. 그래서 AWS RDS를 통해 실제 DB 인스턴스를 구성하고, Python으로 접속해 SQL..
파이썬(Python)/Data Engineering 2025. 5. 4. 22:20
[Data Engineering]데이터 파이프라인 학습 방법

데이터 엔지니어링은 사실 백엔드와 가까운 영역이다. 데이터 엔지니어는 데이터 관련 직무군이 빅데이터와 함께 급부상할 때, 같이 등장한 직군으로서, 데이터를 사내 구성원이 분석에 활용할 수 있도록 (데이터 분석가, 사이언티스트 포함) 데이터를 끌어다 쉽게 쓸수 있는 파이프라인을 구축하는 직무이다. 백엔드 언어(Python)을 주로 사용해서, 백엔드 직무에서 많이 전향한다고 한다. 나도 데이터 사이언티스트가 목표인 사람으로서, 기본적인 데이터 엔지니어링 이론을 학습하였고 이것을 기록하고자 한다 1. 데이터 엔지니어링 관련 기본서를 읽는다 - 기본서를 읽는 목적은 데이터 엔지니어링의 기본적인 틀을 익히기 위함이다. 세세하게 어떤 툴을 쓰고 툴을 쓰는 방식을 알기 위함이 아니다. - 내가 읽은 기본서는 ..
파이썬(Python)/Data Engineering 2025. 4. 26. 22:07
이전 Prev 1 Next 다음