검색엔진 색인(Indexing)의 기본 이해
웹사이트를 아무리 아름답게 만들어도 크롤러 봇(Googlebot, Yeti)이 내 사이트를 방문하고 색인(Index)하지 않으면 검색 결과에 노출되지 않습니다.
웹의 세계에서는 크롤링(Crawling) ➔ 색인(Indexing) ➔ 랭킹(Ranking) 3단계를 거쳐 비로소 유저에게 웹페이지가 노출됩니다.
Google Search Console 설정 4단계
1단계: 소유권 확인 (HTML 태그)
영역에 구글이 제공하는 소유권 메타 태그를 주입합니다.
<meta name="google-site-verification" content="YOUR_GOOGLE_VERIFICATION_CODE" />
2단계: sitemap.xml 등록
검색 콘솔의 Sitemaps 메뉴로 이동하여 sitemap.xml 경로를 제출합니다.
3단계: URL 검사 및 색인 요청
신규 포스트 등록 시 URL 검사 기능을 통해 색인 생성 요청을 클릭합니다.
네이버 서치어드바이저 (Search Advisor) 설정
1. 소유 확인: 네이버 서치어드바이저 접속 ➔ 웹마스터 도구 ➔ HTML 태그 등록
2. RSS 제출: https://davhave.com/rss.xml 제출
3. 사이트맵 제출: https://davhave.com/sitemap.xml 제출
robots.txt 완벽 개방 설정 표준 예시
모든 크롤러봇의 수집을 100% 허용하는 표준 robots.txt 코드입니다.
User-agent: *
Allow: /
Sitemap: https://davhave.com/sitemap.xml
💡 핵심 마케팅 & SEO 용어 사전 (Glossary)
- 크롤러 (Crawler / Bot): 인터넷을 돌아다니며 웹페이지의 콘텐츠와 링크를 수집하는 검색엔진 로봇 (예: Googlebot, Yeti).
- 색인 (Indexing): 크롤러가 수집한 웹페이지 정보를 검색엔진의 거대한 데이터베이스 서버에 등록하는 과정.
- Sitemap.xml (사이트맵): 웹사이트에 존재하는 모든 공개 페이지의 목록과 업데이트 날짜를 담고 있는 XML 파일.
- robots.txt: 검색엔진 크롤러 봇에게 '어느 페이지를 수집해도 되고, 어느 페이지는 접근하면 안 되는지' 알려주는 규약 파일.
- RSS (Really Simple Syndication): 웹사이트의 최신 콘텐츠 목록을 실시간으로 구독 기기나 검색엔진에 전달하는 규격.
수집 최적화 체크리스트
- [ ] 구글 검색 콘솔 및 네이버 서치어드바이저 소유권 확인 완료
- [ ] sitemap.xml 제출 상태가 '성공'인가?
- [ ] robots.txt가 수집을 차단하고 있지 않은가?