데이터 분석가 Damla's blog

이전 글에서 데이터와 관련된 대표적인 직무 3개에 대해 이야기했다. 이번에는 데이터 엔지니어가 되려면 필요한 역량 또는 기술에 대해 이야기하려고 한다. 앞서 데이터 엔지니어는 데이터 분석가와 데이터 사이언티스트가 업무를 위해 데이터를 더 쉽고 효율적으로 활용할 수 있도록 데이터 ETL파이프라인을 설계하고 구축하는 역할을 한다고 했었다. 그렇다면 ETL파이프라인은 무엇인가? E(Extract) 데이터를 추출하는 과정 - 기본적으로 사용되는 Excel, csv, json과 같은 형식의 데이터를 받아오거나, - 웹, 앱의 로그를 추출하는 것을 말한다. T(Transform) 데이터를 활용할 수 있는 형식으로 변형하는 것 - Extract 과정으로 데이터를 추출한 이후에 해당 데이터를 정형화된 형식 (열(Col..

데이터 관련한 직무가 새로이 생기고 있고 빅데이터에 대한 관심이 증가하면서 직무에 대한 관심도 증가하고 있다. 그럼에도 불구하고 그 많은 직무가 실제 하는 역할에 대해서 어렴풋이 알고는 있지만 정확하게는 알지 못하는 경우가 더 많을 것이다. 그래서 데이터와 관련된 직무 3가지를 정리해 보았다. 데이터 분석가 (Data Analyst, DA) -> 데이터를 분석, 정리하여 데이터 의사결정을 돕기 위한 정보 전달을 하는 역할 보고서를 만들어서 전달하거나 분석한 내용을 요약 전달하여 의사결정을 돕는다. 데이터 사이언티스트 (Data scientist, Machine/Deep learning Engineer의 역할도 포괄한다, DS) -> 비즈니스 운영에 필요한 문제를 정의하고, 문제를 해결하기 위해 데이터 분..