생성형 AI는 대량의 데이터를 학습하고, 학습한 데이터를 기반으로 주어진 과제를 수행하기 때문에 충분한 데이터를 확보하는 것이 중요합니다. 또한 축적한 데이터를 AI가 학습하고 활용할 수 있도록 최적화하는 ‘데이터 전처리’가 필수인데요.
이 데이터 준비 단계가 실제로 AI 도입의 성패를 가르고 있어요. 시장조사기관 Gartner는 "2026년까지 AI에 적합하게 준비되지 않은 데이터에 기반한 AI 프로젝트의 60%가 폐기될 것"이라고 전망했습니다. 또 "2025년 말까지 생성형 AI 프로젝트의 최소 30%가 중단될 것이며, 그 첫 번째 원인이 낮은 데이터 품질"이라고 짚었어요. 결국 좋은 모델보다 먼저 챙겨야 할 것이 '잘 준비된 데이터'라는 뜻이랍니다.
오늘은 AI 도입의 필수 작업, 데이터 전처리가 무엇인지, 데이터 전처리가 AI 작동에 왜 중요한지 소개해 드릴게요.
데이터 전처리란?
출처: freepik
데이터 전처리(Data Preprocessing)는 기존의 데이터를 분석하기 적합한 형태로 가공하는 것을 말합니다. 이 과정에는 데이터 수집부터 데이터의 결측치와 이상치 등을 처리하는 데이터 정제, 데이터 인코딩, 데이터 통합 및 병합, 데이터 그룹화 등을 포함하는데요. AI를 도입할 때 가장 많은 시간이 소요되지만, 그만큼 AI 성능을 결정짓는 중요한 작업이기도 합니다.
RAG, 파인튜닝 시대에 데이터 전처리가 더 중요해진 이유
요즘 기업의 AI 도입은 거대 모델을 처음부터 학습시키기보다, 사내 데이터를 AI에 연결하는 방식이 주류인데요. 대표적인 것이 RAG(검색 증강 생성)와 파인튜닝입니다. RAG는 회사의 문서, 매뉴얼, 데이터베이스를 AI가 실시간으로 검색해 답을 만들게 하는 방식이고, 파인튜닝은 자사 데이터로 모델을 추가 학습시키는 방식이에요. 두 방식 모두 결국 '우리 회사 데이터의 품질'이 결과물의 품질을 그대로 결정합니다.
문제는 기업이 가진 데이터의 상당수가 문서, 이메일, 이미지, PDF, 음성처럼 형식이 제각각인 비정형 데이터라는 점인데요. 업계에서는 기업 데이터의 약 80%가 비정형 데이터인 것으로 추정합니다. 이런 데이터는 그대로 AI에 넣을 수 없고, 텍스트 추출, 청킹(chunk 분할), 노이즈 제거, 표준화 같은 전처리를 거쳐야 비로소 AI가 읽을 수 있는 재료가 됩니다. 스캔 문서나 이미지에서 텍스트를 뽑아내는 OCR이 대표적인 비정형 데이터 전처리 사례랍니다.
즉, RAG와 파인튜닝 시대일수록 "좋은 데이터를 잘 다듬는 일", 곧 데이터 전처리의 중요성은 오히려 더 커지고 있어요.
데이터 전처리의 주요 단계
출처: freepik
데이터 전처리는 기존의 데이터를 AI 학습에 최적화된 환경을 조성하는 과정입니다. 대표적인 단계를 몇 가지 알아볼까요?
1️⃣ 데이터 정제
데이터 클리닝 또는 데이터 정제는 데이터에서 불필요하거나 잘못된 데이터를 제거하고 정제하는 과정입니다. 데이터에 누락된 값이 있는 결측치(missing values), 데이터에서 비정상적이거나 극단적인 값을 가진 이상치(outliers), 중복 데이터(duplicate data) 등을 보정하면 데이터 품질을 향상할 수 있어요.
2️⃣ 데이터 변환
데이터를 정제했다면, 데이터를 분석에 적합한 형태로 변환해야 합니다. 데이터의 스케일링, 정규화, 인코딩 등이 여기에 속하는데요. 서로 다른 단위나 범위의 데이터를 일정한 범위로 조정하고, 데이터를 컴퓨터가 처리할 수 있는 수치형 데이터로 인코딩합니다.
3️⃣ 데이터 구조화 및 정규화
여러 경로에서 수집한 데이터를 AI 학습에 적합하게 정제하고 변환했다면, 데이터를 체계적으로 분류하고 데이터 간의 관계를 정의해야 합니다. 이를 통해 데이터 분석의 정확성과 효율성을 높일 수 있습니다.
AI 도입에서 데이터 전처리가 중요한 이유 3
출처: freepik
1️⃣ 데이터 품질 향상
‘쓰레기를 넣으면 쓰레기가 나온다(garbage in, garbage out)’는 데이터 분석에서 기본이 되는 말인데요. AI가 학습하는 데이터는 양만큼 질도 중요합니다. 생성형 AI는 대량의 데이터를 학습하고 이를 바탕으로 과제를 수행하는데, 품질이 낮거나 잘못된 데이터를 학습하면 AI 성능에 영향을 줍니다.
2️⃣ AI 학습 시간과 비용 절약
AI가 학습하는 데이터에 오류가 많거나 불필요한 데이터가 뒤섞여 있다면, 학습에 오랜 시간과 비용이 들고 효율성이 저하될 수 있습니다. 데이터 전처리를 통해 중복된 데이터를 정리하거나 오류를 수정하면 AI 모델이 학습해야 하는 데이터양이 줄어듭니다.
3️⃣ AI 모델의 정확도와 신뢰성 증가
데이터 전처리를 통해 학습 데이터의 품질이 향상되면 AI 모델은 더 정확하고 일관된 데이터를 학습하게 되는데요. 이를 통해 AI가 수행하는 과제의 정확도와 신뢰성이 증가합니다.
그래서, 데이터 전처리를 어떻게 시작할까?
지금까지 AI 성능에 영향을 미치는 데이터 전처리에 대해 알아봤습니다. 우리 기업에서 원하는 AI를 구현하려면, 초기에 다소 시간과 비용이 들더라도 수집한 데이터를 AI 학습에 최적화하는 것이 중요한데요. 이 과정에 어려움을 느끼는 많은 기업이 AI 도입을 망설인다고 합니다.
실제로 AI 도입 성공률 20%의 시대: 실패하지 않기 위한 필수 전략 글에서 볼 수 있듯, AI 프로젝트가 무너지는 지점은 대개 '모델'이 아니라 '데이터'랍니다.
그래서 우선 이렇게 접근해 보시길 권해 드려요.
1️⃣ 데이터 현황 진단: 우리가 가진 데이터가 정형인지 비정형인지, 양과 품질은 충분한지 먼저 점검해요.
2️⃣ 전처리 파이프라인 설계: 위 체크리스트를 반복 가능한 프로세스로 만들어 데이터가 계속 쌓여도 자동으로 다듬어지게 해요.
3️⃣ 목표 AI에 맞는 데이터 준비: RAG용 지식베이스인지, 예측 모델용 학습 데이터인지에 따라 전처리 방식을 맞춰요.
자주 묻는 질문
1️⃣ 데이터 전처리는 보통 얼마나 걸리나요?
데이터의 양, 품질, 형식에 따라 크게 달라지는데요. 데이터 준비, 정제는 AI 프로젝트에서 가장 많은 시간을 차지하는 단계로 꾸준히 꼽힐 만큼, 실제로는 모델 개발보다 더 오래 걸리는 경우가 많습니다. 정형 데이터는 상대적으로 빠르지만, 비정형 데이터가 많을수록 기간이 늘어나요.
2️⃣ 데이터 전처리를 하지 않으면 어떻게 되나요?
품질이 낮은 데이터를 그대로 학습시키면 AI가 틀린 답을 내거나 편향된 결과를 내놓기 쉬워요. Gartner는 AI에 적합하게 준비되지 않은 데이터 기반 프로젝트의 60%가 2026년까지 폐기될 것으로 전망했고, 생성형 AI 프로젝트 중단의 첫 번째 원인도 낮은 데이터 품질로 꼽았습니다.
3️⃣ 정형 데이터와 비정형 데이터는 전처리가 어떻게 다른가요?
정형 데이터는 결측치, 이상치 처리와 정규화, 인코딩이 중심이고, 비정형 데이터는 텍스트 추출(OCR, 음성인식), 청킹, 노이즈 제거 등이 추가로 필요해요. 기업 데이터의 약 80%가 비정형이라, 비정형 전처리 역량이 AI 도입의 관건이랍니다.
4️⃣ RAG나 파인튜닝을 하려는데 데이터 전처리가 꼭 필요한가요?
네, 오히려 더 중요해요. RAG는 사내 문서를 검색해 답을 만들고, 파인튜닝은 자사 데이터로 모델을 추가 학습시키기 때문에, 데이터 품질이 결과물 품질을 그대로 좌우합니다. 전처리 없이는 좋은 결과를 기대하기 어려워요.
5️⃣ 데이터 전처리는 외주로 맡길 수 있나요?
네, 사내에 데이터 인력이 부족하다면 전문 컨설팅, 개발사에 데이터 진단부터 전처리 파이프라인 구축까지 맡길 수 있어요. 다빈치처럼 데이터 품질 관리와 AI 개발을 함께 지원하는 파트너를 활용하면 도입 실패 위험을 크게 줄일 수 있습니다.
지금까지 AI 성능에 영향을 미치는 데이터 전처리에 대해 알아봤습니다. 기업이 원하는 AI를 구현하려면, 초기에 다소 시간과 비용이 들더라도 수집한 데이터를 AI 학습에 최적화하는 것이 중요한데요. 이 과정에 어려움을 느끼는 많은 기업이 AI 도입을 망설인다고 합니다.
전 분야 IT 제작 및 컨설팅을 제공하는 개발 조직 다빈치는 기업에 꼭 필요한 AI 모델을 제안하는 것은 물론, 데이터 품질 관리와 AI 도입에 필요한 대부분의 분야를 지원합니다. 다빈치는 고객의 신뢰를 최우선으로 두고, 다양한 분야에서의 오랜 경험과 경력을 바탕으로 컨설팅을 제공합니다.
AI 도입에 필요한 데이터 수집부터 품질 관리에 어려움을 느낀다면 다빈치에 문의해 주세요.