Case Study - 빅데이터 ETL 파이프라인 구축
비즈니스에 직결되는 빅데이터 인사이트
- Client
- 새마을금고
- Year
- Service
- 데이터 엔지니어링, RPA/자동화, 자문/진단
프로젝트 소개
새마을금고는 방대한 금융 데이터와 외부 데이터를 함께 활용해 데이터 기반 의사결정을 강화하고자 했습니다. 이를 위해 내부 빅데이터를 Hadoop 환경으로 이전(ETL)하고, 외부 Open API 데이터도 함께 수집/적재하는 통합 데이터 파이프라인을 구축했습니다. 데이터 이동 및 적재에는 Sqoop과 Control-M을 활용하여 안정적 배치 수행과 모니터링을 실현하였으며, 데이터 정합성과 신뢰성을 확보하기 위한 표준화 체계도 함께 마련했습니다.
또한 기존의 복잡한 쉘 기반 배치 프로세스를 Python 기반 파이프라인 스크립트로 마이그레이션함으로써 유지보수 효율과 확장성을 크게 향상시켰습니다. 배치 잡 등록/관리 프로세스, 데이터 표준화 등을 통해 운영 안정성을 확보했습니다.
업무 영역
- 데이터 엔지니어링
- RPA/자동화
- 자문/진단
다빈치와 함께한 이번 프로젝트는 기대 그 이상이었습니다. 생소한 환경에서도 놀라운 속도로 최적의 효율을 찾아내고, 전략 수립부터 실질적인 개발까지 일관성 있게 리드해 주셨어요. 무엇보다 복잡한 이해관계자들 사이에서 중심을 잡고 요구사항을 명확하게 정리해 주신 덕분에 프로젝트가 성공적으로 마무리될 수 있었습니다. 문제 상황마다 보여주신 빠른 판단력과 해결 역량은 정말 독보적이더군요. 프로젝트 내내 보여주신 프로다운 태도 덕분에 깊은 신뢰가 생겼습니다. 최고의 파트너를 만난 것 같아 기쁩니다.
Key Success Factors
- Hadoop 기반 대규모 ETL 환경 안정 구축
- 01.
- 데이터 표준화 및 품질 관리 체계 정립
- 02.
- 운영 효율성과 확장성을 고려한 Python 마이그레이션
- 03.