Case Study - 빅데이터 ETL 파이프라인 구축
비즈니스에 직결되는 빅데이터 인사이트
- Client
- 새마을금고
- Year
- Service
- 데이터 엔지니어링, RPA/자동화, 자문/진단
프로젝트 소개
새마을금고는 방대한 금융 데이터와 외부 데이터를 함께 활용해 데이터 기반 의사결정을 강화하고자 했습니다. 이를 위해 내부 빅데이터를 Hadoop 환경으로 이전(ETL)하고, 외부 Open API 데이터도 함께 수집·적재하는 통합 데이터 파이프라인을 구축했습니다. 데이터 이동 및 적재에는 Sqoop과 Control-M을 활용하여 안정적 배치 수행과 모니터링을 실현하였으며, 데이터 정합성과 신뢰성을 확보하기 위한 표준화 체계도 함께 마련했습니다.
또한 기존의 복잡한 쉘 기반 배치 프로세스를 Python 기반 파이프라인 스크립트로 마이그레이션함으로써 유지보수 효율과 확장성을 크게 향상시켰습니다. 배치 잡 등록·관리 프로세스, 데이터 표준화 등을 통해 운영 안정성을 확보했습니다.
업무 영역
- 데이터 엔지니어링
- RPA/자동화
- 자문/진단
다빈치와 함께한 이번 프로젝트는 기대 그 이상이었습니다. 생소한 환경에서도 놀라운 속도로 최적의 효율을 찾아내고, 전략 수립부터 실질적인 개발까지 일관성 있게 리드해 주셨어요. 무엇보다 복잡한 이해관계자들 사이에서 중심을 잡고 요구사항을 명확하게 정리해 주신 덕분에 프로젝트가 성공적으로 마무리될 수 있었습니다. 문제 상황마다 보여주신 빠른 판단력과 해결 역량은 정말 독보적이더군요. 프로젝트 내내 보여주신 프로다운 태도 덕분에 깊은 신뢰가 생겼습니다. 최고의 파트너를 만난 것 같아 기쁩니다.
Key Success Factors
- Hadoop 기반 대규모 ETL 환경 안정 구축
- 01.
- 데이터 표준화 및 품질 관리 체계 정립
- 02.
- 운영 효율성과 확장성을 고려한 Python 마이그레이션
- 03.