데이터 직무란
데이터 직무는 기업 내 데이터를 가공, 관리, 활용하는 업무를 말한다.
데이터 자체를 중점적으로 다루는 데이터 집중 직무와, 데이터를 활용하는 데이터 활용 직무로 나뉜다.
데이터 집중 직무는 데이터 엔지니어, 데이터 사이언티스트, 데이터 분석가로 나뉜다.
(그러나 회사마다 각 직무의 구분이나 명칭은 다르다)
데이터 엔지니어 (Data Engineer)
주요 업무
- 데이터의 수집과 관리 담당 (개발에 집중된 유형)
- 데이터 전처리, 다른 업무에 사용할 수 있도록 공급
- 데이터 처리를 위한 시스템을 구축, 관리, 최적화
- 일반적으로 데이터 엔지니어는 AI와 거리가 멀다
학위
- 학위보다 실력이 중요
필요 역량
- 대량의 데이터에서 필요한 부분을 추출하는 능력(ETL)
- 개발자에 가까운 직업으로 코딩 실력이 중요
- 백엔드~데이터 도메인에 대한 스택
다루는 툴
- 프로그래밍 언어 (Python, Scala, Java, Go)
- AWS, GCP 등 클라우드 서비스의 인프라 또는 솔루션 활용 경험
- MLOps, Docker
- 백엔드 프로그래밍
데이터 사이언티스트 (Data Scientist)
주요 업무
- 데이터를 분석하고 유의미한 패턴을 찾아내는 것
(과거 패턴으로 산업별 미래 예측, 의사 결정) - 알고리즘, 분석모델, 머신러닝 모델을 작성, 수정
- 대기업의 경우 보통 R&D 부서에 속함.
- 뽑는 인원이 많지 않음.
학위
- 석사 이상
- 경력직
필요 역량
- 깊은 통계학적, 수학적 지식
- 다양한 업무를 담당 (엔지니어 + 분석가)
- 커뮤니케이션
다루는 툴
- 통계모델, 머신러닝 (학문적 연구)
- 프로그래밍 (R, python, scala)
- BigQuery (SQL), MySQL, Tableau, Pandas, Spark, TensorFlow, Excel (Google Sheet) 등 데이터 분석 도구
데이터 분석가 (Data Analyst)
주요 업무
- 데이터를 분석, 처리, 요약하는 업무 (포괄적 현황 분석)
- 비즈니스의 주요 지표를 정하고 분석
- 데이터 시각화, 보고서
학위
- 학사/석사
필요 역량
- 비즈니스 문제 해결
- 사업, 서비스에 대한 이해도
- 데이터를 바탕으로 한 시각화 작업
다루는 툴
- 전통적으로 구조화된 DB, BI 도구/ 패키지 (SQL)
- 프로그래밍과는 거리가 멀다
난이도
- 많이 뽑고 허들이 다른 두 데이터 직무에 비해 상대적으로 낮은 편
머신러닝 엔지니어 (ML Engineer)
주요 업무
- 리서처와 엔지니어링을 연결하는 역할
- 간단한 모델링도 할 줄 알고, 엔지니어링으로 API도 잘 만들 수 있는지
- 백엔드 개발자와 비슷하거나 겸함.
학위
- 실력이 중요
- 석사가 가지는 이점은 있음
- 인턴(6개월~2년)을 경험한 뒤 석사 학위 취득도 좋음
- 일을 하면서 대학원을 다니는 것도 추천.
필요 역량
- 백엔드 프로그래밍 (파이썬, 자바 등) 필수
- 데이터를 다루는 능력
- 아키텍처(설계) 작동, 문제 생겼을 때 대응
다루는 툴
- Python, Java, JS 등의 프로그래밍 언어 및 라이브러리
출처 및 도움이 될만한 글들
https://market.dighty.com/contents/?idx=7614796&bmode=view
https://paulsmooth.tistory.com/142
https://databonanza.tistory.com/25
https://www.mk.co.kr/premium/special-report/view/2021/04/29952/
https://brunch.co.kr/@imagineer/301
https://velog.io/@chang626/데이터-엔지니어-정리-내용
https://dailyheumsi.tistory.com/204
https://dailyheumsi.tistory.com/205?category=864097
https://github.com/Team-Neighborhood/I-want-to-study-Data-Science
https://zorang2.tistory.com/17
https://allprogrammertistory.com/6
https://wkdus0608.tistory.com/entry/백엔드-개발자-공부-순서-하는-일-연봉-전망-ITs
https://lee-automation-lab.tistory.com/entry/DevOps란-데브옵스의-이해등장
https://okky.kr/article/1069196
https://zzsza.github.io/data/2018/02/17/datascience-interivew-questions/
'Coding > 기타' 카테고리의 다른 글
| Support Vector Machines (SVM) 서포트 벡터 머신 (0) | 2022.04.14 |
|---|---|
| Decision Trees(의사 결정 나무)와 Random Forests(랜덤 포레스트) (0) | 2022.04.13 |