llms.txt는 AI 에이전트가 사이트의 핵심 문서와 마크다운 자료를 찾도록 돕기 위해 제안된 파일 형식입니다. 2024년 Jeremy Howard가 처음 제안했고 2026년 8월 v2가 공개됐지만, IETF·W3C·ISO가 제정한 공식 웹 표준은 아닙니다.
SEO·AEO 관점의 결론
Google Search는
llms.txt를 사용하지 않으며, 파일을 만들어도 Google 검색과 생성형 검색의 노출·순위에 도움이 되거나 불이익을 주지 않는다고 공식 안내합니다. 호환되는 에이전트나 문서 도구를 위한 보조 파일로는 활용할 수 있지만, SEO·AEO의 우선순위는 크롤링·색인, 독창적인 콘텐츠, 명확한 출처와 사용자 경험입니다.
이 글은 llms.txt 제안 문서와 Google Search Central의 생성형 AI 검색 최적화 공식 가이드를 기준으로 2026년 8월 내용을 갱신했습니다.
AI 검색 최적화란?
기존의 검색은 검색엔진 최적화(SEO)를 통해 웹사이트가 검색 결과 상단에 노출되도록 하는 것이 중요했어요. 하지만 이제는 검색의 방식 자체가 달라지고 있어요. 사용자는 키워드를 입력하고 웹페이지를 하나씩 클릭하기보다 챗GPT나 퍼플렉시티(Perplexity)처럼 AI 도구를 통해 요약된 답변을 바로 받는 방식을 선호하죠.
출처: freepik
이처럼 AI가 여러 웹페이지를 참고해 핵심 정보를 요약해 답변을 제공하는 방식을 ‘AI 검색’이라고 합니다. 여기서 중요한 질문이 생기게 되는데요. “AI가 답변을 제공할 때 우리 콘텐츠를 참고할 수 있을까?” 바로 이런 흐름에 대비하는 것이 ‘AI 검색 최적화’입니다. 이제는 사람뿐만 아니라 AI도 이해할 수 있도록 콘텐츠를 구조화하는 것이 필수가 된 시대예요.
이 흐름을 더 넓게 보고 싶다면 검색 엔진 vs AI 질문, 정보 탐색 방법의 변화들 에서 사용자 탐색 방식이 어떻게 바뀌었는지 함께 읽어 보시면 좋아요.
💭 AI 봇, 정말 우리 사이트를 크롤링하고 있을까?
2026년 6월 기준으로 웹 HTML 트래픽의 57.5%가 봇이었고, 사람은 42.5%로 사상 처음 '기계 다수'가 됐어요. 이 중 AI 크롤러가 봇 트래픽의 약 20.3%를 차지했고요. 개별 봇 요청 비중은 GPTBot(OpenAI) 11.48%, ClaudeBot(Anthropic) 9.73% 순이었어요. 즉 AI는 이미 우리 콘텐츠를 활발히 읽고 있어요. 다만 그 통로가 llms.txt는 아니라는 게 지금의 현실입니다. (출처: Cloudflar Radar)
llms.txt 작성 방법: v2 기준
적용 범위를 정합니다. 사이트 루트의
/llms.txt뿐 아니라 특정 하위 경로에도 둘 수 있으며, 더 구체적인 경로의 파일이 그 아래 문서를 설명합니다.H1 제목을 둡니다. H1은 유일한 필수 항목입니다. 그 아래에 선택적으로 요약 인용문과 안내 문장을 적고, H2 섹션별로 핵심 링크를 정리합니다.
에이전트가 읽을 자료를 연결합니다. 가능하면 HTML 페이지의 간결한 마크다운 버전을 제공하고, 정확한 설명과 접근 가능한 URL을 사용합니다.
발견 경로를 제공합니다. v2는 페이지의 마크다운 버전에
rel="alternate" type="text/markdown", 적용되는 llms.txt에rel="describedby"링크 관계를 제안합니다.유지보수 책임을 정합니다. 깨진 링크와 오래된 설명을 정기적으로 점검합니다. v2에서는
Optional섹션에 별도의 기계적 의미가 없습니다.
이 형식을 지원하는 에이전트나 문서 도구가 실제 대상일 때만 도입 효과를 평가하는 것이 좋습니다. Google 검색 노출을 위한 필수 작업으로 취급해서는 안 됩니다.
LLM 친화 콘텐츠 작성하는 방법 5
앞서 살펴본 것처럼, 이제 콘텐츠 작성의 중심은 검색엔진이 아닌 AI가 이해하고 요약하기 쉬운 구조로 옮겨가고 있어요. AI 검색에 콘텐츠가 잘 노출되려면, 단순히 좋은 글을 쓰는 것만으로는 부족해요. 이렇게 AI가 이해하고 요약하기 쉽게 콘텐츠를 최적화하는 걸 GEO(생성형 엔진 최적화, Generative Engine Optimization) 또는 AEO(답변 엔진 최적화, Answer Engine Optimization) 라고 불러요. AI 검색에 콘텐츠가 잘 노출되려면, 단순히 좋은 글을 쓰는 것만으로는 부족해요. AI가 읽고 요약하기 쉬운 방식으로 콘텐츠를 구성하는 것, 바로 이것이 LLM 친화 콘텐츠의 핵심입니다.
SEO와 AEO를 함께 설계하는 전략은 SEO? AEO? AI 기반 검색 최적화 전략과 성공 방안은? 에서 더 깊이 다루고 있으니 함께 보시면 좋아요.
출처: freepik
1️⃣ 질문+답변 형식으로 작성하기
AI는 질문과 답변 구조의 콘텐츠를 선호해요. 사용자가 궁금해할 만한 질문을 제시하고 그에 대한 간결하고 명확한 답변을 중심으로 구성해 보세요. 질문 형태의 제목은 AI 검색에 효과적이고 비교형 콘텐츠나 FAQ 형식도 AI가 잘 활용하는 유형입니다. FAQPage 같은 구조화 데이터(스키마)를 붙이면 질문-답변 쌍이 더 명확하게 전달돼, GEO에서 특히 효과가 좋다고 알려져 있어요.
2️⃣ 핵심 답변을 문단 맨 앞에 두기
AI는 각 섹션 첫머리에서 바로 답을 찾으려 해요. 그래서 소제목 아래에 40~60단어 분량의 직접적인 답을 먼저 제시하고, 그다음 근거를 풀어쓰는 '역피라미드(결론 우선)' 구조가 인용될 확률을 높여요. 구글 AI Overviews와 챗GPT가 답을 합성하는 방식과 잘 맞아떨어지거든요.
3️⃣ 소제목과 리스트 형식으로 정보 구성하기
AI는 콘텐츠의 구조를 분석해 정보를 요약합니다. 특히 명확한 구조를 가진 콘텐츠를 잘 처리하기 때문에, 헤드라인 중심 구성이 유리해요. 문단마다 소제목을 붙이고, 리스트나 도표 형식으로 정보를 정리하면 LLM이 콘텐츠를 인식하고 수집할 확률이 높아집니다.
4️⃣ 사실 밀도를 높이고 최신 통계를 넣기
AI는 신뢰도 높은 정보와 문맥 중심의 콘텐츠를 선호해요. 단순한 키워드 나열보다, 구체적인 수치, 인용, 출처가 담긴 내용이 훨씬 효과적입니다. 프린스턴 연구에 따르면 권위 있는 인용과 통계를 더한 '사실 밀도(Fact Density)'는 AI 인용 가시성을 최대 40%까지 높였어요. 반대로 오래된 수치가 담긴 콘텐츠는 신뢰도가 낮게 취급돼 밀려나기 쉬우니, 통계는 주기적으로 갱신해 주세요.
5️⃣ 신뢰 플랫폼에서 언급되고, 권위 있는 출처로 연결하기
AI 모델은 답을 검증하기 위해 레딧, G2, 위키피디아 같은 신뢰 플랫폼을 함께 살펴봐요. 우리 브랜드가 이런 곳에서 자주 언급되면 AI가 신뢰 신호로 받아들일 확률이 높아져요. 또 다른 블로그보다 정부/기관 자료 같은 1차 출처로 연결(공동 인용)하면 콘텐츠가 신뢰 네트워크 안에 자리 잡게 됩니다. "우리는 ~라고 생각한다" 같은 주관적 표현은 줄이고, 백과사전처럼 담백하고 단정적인 문체를 쓰는 것도 도움이 돼요. (출처: Yotpo)
복잡한 질문을 여러 단계로 스스로 탐색해 답을 만드는 에이전틱 서치 흐름까지 이해하면, 왜 이런 구조화가 인용률을 좌우하는지 더 선명하게 보여요.
자주 묻는 질문 (FAQ)
1️⃣ llms.txt를 만들면 챗GPT나 구글 AI 검색에 더 잘 노출되나요?
현재로선 그렇다는 검증된 근거가 없어요. 2025년 6월 구글은 "어떤 AI 시스템도 llms.txt를 사용하지 않는다"고 밝혔고, 2026년 5월 Ahrefs 분석에서도 발행된 llms.txt의 97%가 아무 요청도 받지 못했어요. 노출 효과는 llms.txt보다 콘텐츠 구조화(GEO/AEO)에서 나와요.
2️⃣ 그럼 llms.txt는 만들 필요가 없나요?
'만들면 안 된다'는 아니에요. 제작/유지 비용이 낮고 일부 개발 도구가 이미 활용하고 있어, 미래 대비 차원의 저비용 옵션으로는 둘 만해요. 다만 우선순위는 콘텐츠와 robots.txt 정책이 먼저예요.
3️⃣ llms.txt와 robots.txt는 뭐가 다른가요?
robots.txt는 AI 크롤러의 접근을 '허용/차단'하는 규칙 파일이고, llms.txt는 접근이 허용된 상태에서 "어떤 콘텐츠를 우선 참고하라"고 안내하는 제안 파일이에요. 크롤링 여부를 결정하는 건 robots.txt예요.
4️⃣ AI 봇은 정말 우리 사이트를 크롤링하나요?
네. 2026년 기준 웹 트래픽의 절반 이상이 봇이고, GPTBot과 ClaudeBot이 각각 개별 봇 요청의 두 자릿수 비중을 차지할 만큼 활발해요. 다만 그 통로가 llms.txt는 아니라는 게 핵심이에요.
5️⃣ GEO와 AEO, SEO는 어떻게 다른가요?
SEO는 검색 결과 상단 노출, AEO(답변 엔진 최적화)는 AI가 요약 답변에 우리 내용을 쓰게 하기, GEO(생성형 엔진 최적화)는 생성형 AI가 우리 콘텐츠를 인용/합성하게 하기에 초점을 둬요. 자세한 비교는 SEO? AEO? AI 기반 검색 최적화 전략 에서 확인하세요.
오늘 살펴본 AI 검색 최적화 관점에서 보듯, 앞으로는 LLM에 최적화된 콘텐츠 작성이 SEO만큼 중요한 전략으로 자리 잡게 될 것입니다. 하지만 기술이 아무리 발전하더라도 사람들에게 가치 있는 정보를 전달하는 것이 콘텐츠의 본질이자 변하지 않는 목표가 아닐까요?
llms.txt 설정이나 AI 검색 최적화 전략에 대해 더 궁금한 점이 있다면 IT 전문가 그룹 다빈치에 연락해 주세요. AI 시대의 콘텐츠 전략, 다빈치와 함께 준비할 수 있습니다.