AI 크롤러 수집 가이드: GEO & LLM 인덱싱 최적화

SEO에서 GEO(Generative Engine Optimization)로의 진화

이제 사용자들은 구글 검색 외에도 Perplexity, Claude, ChatGPT AI 답변을 통해 정보를 얻습니다. AI 모델이 내 사이트 아티클을 출처로 인용하도록 만드는 기술이 GEO입니다.

LLM 크롤러봇 허용 robots.txt 표준 설정

AI 크롤러봇(GPTBot, ClaudeBot, PerplexityBot 등)의 수집을 100% 개방합니다.

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

💡 핵심 마케팅 & SEO 용어 사전 (Glossary)

• GEO (Generative Engine Optimization): 생성형 엔진 최적화. AI 모델(ChatGPT, Perplexity)의 생성 답변 속에 내 브랜드나 서비스가 답변 출처로 채택되도록 만드는 최신 최적화 기법.
• LLM (Large Language Model): 거대 언어 모델. Claude, GPT-4처럼 대규모 텍스트 데이터를 학습하여 사람 수준의 문장을 이해하고 답변하는 인공지능.
• llms.txt: AI 로봇이 사이트의 주요 구조와 아티클을 수 밀리초 만에 쉽게 파싱하도록 돕는 마크다운 기반의 사이트 요약 파일 규약.
• GPTBot / ClaudeBot: OpenAI 및 Anthropic 사에서 웹상의 최신 정보를 수집하기 위해 운영하는 전용 AI 크롤러 봇.

GEO 최적화 체크리스트

• [ ] robots.txt에서 AI 크롤러 봇을 차단하고 있지 않은가?
• [ ] /llms.txt 경로가 제대로 구현되어 200 OK 서빙되는가?