구인 공고 텍스트로 본 “데이터 사이언티스트” vs “데이터 엔지니어” 스킬 키워드 비교 분석

데이터 사이언티스트 vs 데이터 엔지니어, 무엇이 다를까?

채용 공고 텍스트 분석으로 살펴본 기술 키워드 비교

1. 왜 지금, DS와 DE의 차이를 알아야 할까?

최근 몇 년간 데이터 기반 비즈니스가 급격히 확대되면서, 데이터 사이언티스트(Data Scientist, DS)와 데이터 엔지니어(Data Engineer, DE)는 기업의 핵심 직무로 떠올랐습니다.
생성형 AI의 급부상, 클라우드 인프라의 대중화, 머신러닝 자동화 등 변화의 중심에서 이 두 직무는 IT 전략과 의사결정 모두에 관여합니다.

하지만 여전히 많은 학생들과 구직자들은 DS와 DE의 차이를 명확히 구분하지 못하고 혼선을 겪고 있습니다.
기술 학습 방향이 흐려지고, 결국 본인에게 맞지 않는 직무를 선택할 위험도 커지죠.

그래서 이번 프로젝트에서는 실제 채용 공고 텍스트를 분석해 두 직무의 기술 키워드를 비교해 보았습니다.

 

2. 분석 개요: 어떤 데이터를, 어떻게 분석했을까?

• 데이터 출처: LinkedIn에 등록된 채용 공고 약 15,000건
• 분석 대상: ‘data scientist’, ‘data engineer’ 키워드를 포함한 공고 각 100건씩
• 텍스트 전처리: HTML 태그 제거 → 영어·한글 혼합 처리 → 명사 추출
• 분석 기법:
  • 직무별 키워드 빈도 비교
  • n-gram 추출 및 χ²(카이제곱) 통계 분석
  • Word2Vec 임베딩 + PCA 시각화
  • 워드클라우드 생성
  • 신입 연봉 비교(wanted 기준)

📌 본 분석은 기술 키워드의 경향성과 특징을 탐색하는 데 초점을 두고 있으며, 통계적 일반화를 목적으로 하지는 않았습니다.

 

3. 데이터 사이언티스트, 어떤 기술을 요구할까?

 주요 키워드

• Python, R, Statistics, Machine Learning
• 그 외에도 'ETL', 'Azure', 'Pipelines', 'Cloud' 등 인프라 키워드도 다수 등장

데이터 사이언티스트는 단순 분석 능력을 넘어서 클라우드 환경에서의 MLOps나 파이프라인 설계 역량까지 요구받고 있습니다.
“모델링 경험 외에도 데이터 파이프라인 구축 우대”와 같은 문구가 이를 뒷받침하죠.

워드클라우드에서도 인프라 관련 키워드가 뚜렷하게 드러났습니다.

4. 데이터 엔지니어는 어떤 역할을 할까?

 주요 키워드

• 'ETL', 'AWS', 'Spark', 'Airflow', 'Data Warehouse'
• ‘Compensation’, ‘Team’, ‘Flexible’ 등 근무 환경 관련 키워드도 다수

DE 공고에서는 대규모 데이터 처리, 실시간 스트리밍, 클라우드 아키텍처 설계 등 기술 중심 키워드가 빈번하게 등장합니다.
또한 복지나 조직 문화 강조 키워드도 많아, 기업들이 DE 인재 확보를 위해 ‘브랜딩 채용’을 적극 시도하고 있음을 알 수 있습니다.

5. 기술 키워드, 어떤 차이가 있을까?

직무별 스킬 출현율을 정량적으로 비교한 결과:

• DS 쪽에 더 자주 등장한 기술: Python, R, TensorFlow, Keras 등 분석/ML 관련
• DE 쪽에 집중된 기술: AWS, Azure, Spark, Airflow, ETL 등 인프라 관련

Word2Vec 시각화에서는 기술들이 의미적으로도 서로 다른 **클러스터(군집)**를 형성함을 확인할 수 있었습니다.
프로그래밍 언어는 중심에, 딥러닝은 좌측, 클라우드 기술은 우측 하단에 위치했죠.

 

6. 연봉 비교도 해봤습니다

wanted 기준으로 신입 공고의 연봉 정보를 크롤링한 결과:

• 데이터 사이언티스트 평균: 약 3,157만 원
• 데이터 엔지니어 평균: 약 2,769만 원

이는 DE 직무가 경력직 중심 채용이 많고, 신입 수요가 적은 구조를 반영한 결과일 수 있습니다.

---

7. 정리하며: 진로 설계에 실질적인 도움을 주는 분석

이번 프로젝트에서 얻은 시사점은 다음과 같습니다.

1. 기술 스택은 분명히 다르다. → 학습 우선순위 설정이 중요
2. 교육 커리큘럼도 분리돼야 한다. → DE용 클라우드/스트리밍 수업 필요
3. 기업은 공고에 역할을 명확히 드러내야 한다. → 적합 인재 매칭 효율 증가

💡 결론:
막연한 이미지가 아닌, 실제 채용 데이터를 바탕으로 DS와 DE의 차이를 명확히 이해하고, 진로 설계에 실질적인 방향성을 제공했다는 점에서 의미 있는 프로젝트였다.