구글은 처음부터 검색 시장 1위가 아니었습니다. 1990년 등장한 Archie는 FTP 서버의 파일 이름을 찾아줬으며 웹이 퍼진 뒤에는 Yahoo!, WebCrawler, AltaVista 같은 서비스가 먼저 이용자를 모았습니다. Google은 1998년 회사를 세운 뒤 링크 구조와 본문 관련성을 함께 활용하는 검색 방식으로 성장했습니다.
국내 검색 시장도 같은 순서로 움직이지 않았습니다. 한국어 콘텐츠와 포털 이용 습관에 맞춘 NAVER는 통합검색과 지식iN으로 자리를 잡았고, Google은 모바일과 웹 검색의 확산을 타고 영향력을 넓혔습니다. 검색엔진의 역사는 더 많은 문서를 모으는 경쟁에서 더 알맞은 답을 찾아 보여 주는 경쟁으로 옮겨온 과정입니다.
이 글은 검색엔진이 작동하는 원리와 주요 서비스의 등장을 시간순으로 살펴봅니다. 인터넷과 웹의 차이부터 보고 싶다면 월드 와이드 웹의 역사, 이메일과 브라우저의 변화가 궁금하다면 인터넷 역사 02를 먼저 읽어도 좋습니다.
출처: 플래텀
검색엔진이란
검색엔진은 사용자의 질의를 받아 관련 문서나 정보를 찾아 정렬해 주는 정보 검색 시스템입니다. 웹 검색엔진은 공개된 웹페이지를 발견하고 내용을 색인한 뒤 검색어와 관련성이 높은 결과를 골라 보여 줍니다.
검색엔진과 포털은 같은 말이 아닙니다. 검색엔진은 정보를 찾고 정렬하는 기능이고, 포털은 검색에 뉴스·메일·카페·쇼핑 같은 서비스를 묶은 접점입니다. 초기 Yahoo!는 사람이 웹사이트를 주제별로 분류한 디렉터리에서 출발했고 NAVER는 검색과 자체 콘텐츠 서비스를 한 화면에 결합한 포털로 성장했습니다.
구분 | 검색 대상 | 정보 수집 방식 | 대표 사례 |
|---|---|---|---|
인터넷 검색 | FTP 서버 등 인터넷 자원 | 파일 목록 수집 | Archie |
웹 디렉터리 | 등록된 웹사이트 | 사람이 주제별 분류 | 초기 Yahoo! |
웹 검색엔진 | 공개 웹페이지 | 크롤러와 자동 색인 | WebCrawler, AltaVista, Google |
검색 포털 | 웹문서와 자체 서비스 콘텐츠 | 자동 색인과 서비스 데이터 결합 | NAVER, Daum |
검색엔진 작동 원리
웹 검색은 발견·수집, 색인, 검색 결과 제공의 세 단계로 진행됩니다. Google Search Central도 이를 크롤링, 인덱싱, 검색 결과 제공으로 설명합니다.
1. 크롤링
크롤러는 이미 알고 있는 페이지의 링크와 사이트맵을 따라 새 URL이나 바뀐 페이지를 찾습니다. 방문 권한이나 robots.txt 설정, 서버 상태에 따라 일부 페이지는 수집하지 못할 수 있습니다.
2. 인덱싱
검색엔진은 수집한 페이지의 본문과 제목, 이미지, 동영상, 주요 속성을 분석해 색인에 저장합니다. 비슷한 페이지가 여럿이면 대표 페이지도 이 단계에서 정합니다.
3. 검색 결과 제공
사용자가 검색어를 입력하면 검색엔진은 색인에서 후보 문서를 찾고 관련성·품질·언어·위치·기기 같은 신호를 반영해 결과를 구성합니다. 광고와 일반 검색 결과는 서로 다르게 운영되며 광고비를 낸다고 일반 검색 순위가 올라가지는 않습니다.
검색엔진의 역사
Archie: 웹보다 먼저 나온 인터넷 검색
출처: LinkedIn
McGill University의 Alan Emtage는 1990년 공개 FTP 서버의 파일 목록을 자동으로 모아 검색하는 Archie를 만들었습니다. Archie는 웹페이지 본문을 찾는 서비스가 아니라 파일 이름을 색인했지만 정보를 수집하고 색인한 뒤 질의로 찾는 기본 구조를 세웠습니다.
Archie를 최초의 인터넷 검색엔진이라고 부르는 이유가 여기에 있습니다. 최초의 웹 검색엔진을 묻는다면 기준이 달라집니다. 웹 전용 서비스, 자동 크롤링, 페이지 전체 본문 검색 중 무엇을 기준으로 잡느냐에 따라 ALIWEB, JumpStation, WebCrawler가 각각 중요한 출발점으로 언급됩니다.
Yahoo!·WebCrawler·AltaVista: 디렉터리에서 자동 검색으로
출처: Wikipedia
웹이 커지자 사람이 사이트를 골라 분류하는 디렉터리와 기계가 페이지를 수집하는 검색엔진이 함께 등장했습니다. 1994년 시작한 Yahoo!는 주제별 디렉터리로 웹 탐색의 입구가 됐습니다. 같은 해 공개된 WebCrawler는 페이지 전체 본문을 검색해 현대 웹 검색에 가까운 경험을 제공했습니다.
출처: ResearchGate
1995년 공개된 AltaVista는 당시로서는 큰 웹 색인과 빠른 질의 처리를 앞세웠습니다. 검색 기술도 서비스 경쟁력이 된다는 사실을 보여 줬지만, 여러 번 바뀐 소유권과 제품 전략 탓에 주도권을 잃었습니다.
Google: 링크를 문서 평가에 활용
출처: ResearchGate
Larry Page와 Sergey Brin은 Stanford University에서 웹의 링크 구조를 검색 결과에 활용하는 연구를 진행했습니다. 1998년 논문에서 설명한 Google 시제품은 본문 검색에 하이퍼링크 구조를 결합해 문서의 중요도와 관련성을 계산했습니다. Google Inc.도 같은 해 설립됐습니다.
Google의 성장을 PageRank만으로 설명하기는 어렵습니다. 링크 분석은 출발점이었고 대규모 크롤링·색인, 빠른 응답, 이용하기 쉬운 화면, 검색 품질 개선이 이어지면서 점유율이 커졌습니다. Google은 처음부터 1위가 아니라 기존 검색의 약점을 더 잘 해결하며 앞서 나갔습니다.
시기 | 서비스 | 검색 방식의 변화 | 남긴 영향 |
|---|---|---|---|
1990 | Archie | FTP 파일 이름 색인 | 수집·색인·질의 구조 확립 |
1993~1994 | ALIWEB·WebCrawler | 웹사이트 등록과 페이지 전체 본문 검색 | 웹 전용 검색의 출발 |
1994 | Yahoo! | 사람이 관리하는 주제별 디렉터리 | 웹 탐색의 대중화 |
1995 | AltaVista | 큰 색인과 빠른 전체 본문 검색 | 규모와 속도의 경쟁 촉진 |
1998 | 본문 관련성과 링크 구조 결합 | 검색 결과 품질 경쟁 심화 |
한국 검색엔진의 변화
한국어 검색 서비스의 등장
출처: IT조선
1995년 공개된 코시크는 초기 국산 검색엔진으로 평가받습니다. 심마니와 까치네, 미스다찾니 같은 서비스도 뒤이어 등장했습니다. 당시에는 한국어 문서가 적었고 해외 검색 서비스도 한글을 충분히 다루지 못해 한국어 색인 자체가 중요한 경쟁력이었습니다.
출처: IT조선
1990년대 후반에는 Yahoo! Korea와 AltaVista Korea, Lycos Korea 같은 해외 서비스도 한국어 시장에 들어왔습니다. 검색 결과만 제공하는 방식과 메일·뉴스·커뮤니티를 함께 제공하는 포털 방식이 경쟁했습니다.
NAVER: 통합검색과 한국어 콘텐츠
출처: 뉴스에듀
NAVER는 1999년 검색 포털 서비스를 시작했고 2000년 통합검색을 선보였습니다. 웹문서·이미지·카페·블로그처럼 출처가 다른 결과를 검색 의도에 맞춰 한 화면에 구성하는 방식이었습니다.
2002년 시작한 지식iN은 이용자가 직접 묻고 답하며 한국어 콘텐츠를 쌓는 구조를 만들었습니다. 한국어 웹문서가 부족하던 시기에 자체 생태계에서 검색 자료를 늘리고, 이를 통합검색으로 연결한 전략이 NAVER의 성장 배경이 됐습니다.
Daum은 메일과 카페를 중심으로 포털 이용자를 모았고, NAVER는 통합검색과 지식 콘텐츠를 강화했습니다. Google은 세계 웹문서 검색과 모바일 환경에서 존재감을 넓혔습니다. 국내 검색 시장은 검색 알고리즘뿐 아니라 언어, 콘텐츠 공급, 유통 화면, 이용 습관이 함께 바꿨습니다.
검색 경쟁의 기준은 어떻게 바뀌었나
초기에는 얼마나 많은 문서를 빨리 모으느냐가 중요했습니다. 웹이 커진 뒤에는 관련성이 높은 결과를 상단에 놓는 순위 기술이 차이를 만들었습니다. 포털 시대에는 뉴스와 커뮤니티, 쇼핑처럼 자체 콘텐츠를 검색 결과에 연결하는 능력이 중요해졌습니다.
지금은 검색어뿐 아니라 문맥, 이미지, 위치, 사용 목적을 함께 해석합니다. 생성형 AI가 요약 답변을 제공하려면 발견 가능한 문서, 해석할 수 있는 구조, 신뢰할 만한 출처와 관련성이 필요합니다. 이런 점에서 SEO와 AEO 적용 순서를 함께 봐야 합니다.
경쟁 단계 | 핵심 질문 | 주요 역량 |
|---|---|---|
디렉터리 | 어떤 사이트가 있는가 | 사람의 분류와 큐레이션 |
자동 검색 | 어떤 페이지에 이 단어가 있는가 | 크롤링과 전체 본문 색인 |
순위 검색 | 어떤 결과가 더 유용한가 | 관련성·품질·링크 분석 |
포털 검색 | 원하는 정보를 한 화면에서 찾을 수 있는가 | 자체 콘텐츠와 통합검색 |
AI 검색 | 질문에 답을 만들 근거가 충분한가 | 문맥 해석·출처 연결·답변 구성 |
자주 묻는 질문
최초의 검색엔진은 무엇인가요?
Archie가 최초의 인터넷 검색엔진으로 널리 인정됩니다. 1990년 공개됐으며 FTP 서버의 파일 이름을 수집하고 색인해 검색했습니다. 웹 전용 검색의 최초 사례는 정의에 따라 ALIWEB이나 JumpStation을 꼽고, 페이지 전체 본문을 검색한 초기 서비스로는 WebCrawler가 자주 언급됩니다.
Google은 처음부터 검색 시장 1위였나요?
아닙니다. Google이 등장하기 전에는 Yahoo!, WebCrawler, Lycos, AltaVista 같은 서비스가 먼저 이용자를 확보했습니다. Google은 링크 구조와 본문 관련성을 결합한 검색 기술, 빠른 응답과 간결한 화면을 토대로 뒤늦게 선두에 올랐습니다.
검색엔진과 포털의 차이는 무엇인가요?
검색엔진은 문서를 찾고 정렬하는 시스템입니다. 포털은 검색에 뉴스, 메일, 커뮤니티, 쇼핑 같은 서비스를 묶은 이용자 접점입니다. 하나의 서비스가 검색엔진과 포털 역할을 함께 맡을 수도 있습니다.
검색엔진은 인터넷 전체를 실시간으로 검색하나요?
검색할 때마다 인터넷 전체를 훑지는 않습니다. 미리 수집하고 정리한 색인에서 후보를 찾은 뒤 검색어에 맞춰 결과를 구성합니다. 새 페이지나 수정한 내용이 검색 결과에 반영되기까지 시간이 걸리는 이유입니다.
검색엔진의 역사는 Archie의 파일 목록에서 Google의 링크 분석, NAVER의 통합검색과 지식 콘텐츠, AI 답변 화면까지 이어졌습니다. 겉모습은 달라졌어도 필요한 정보를 찾아 정리하고 가장 알맞은 결과를 돌려준다는 역할은 그대로입니다. 다음 편에서는 싸이월드부터 쇼츠까지 이어진 소셜미디어의 변화를 살펴봅니다.