IndexNow는 웹사이트의 URL 변경 사항(추가, 수정, 삭제)을 검색 엔진에 즉시 알리는 간단하고 효율적인 프로토콜로, 이를 통해 검색 엔진이 빠르게 해당 페이지를 크롤링하고 색인할 수 있도록 돕습니다.
작동 원리와 구조는 다음과 같습니다:
-
API 키 생성 및 소유권 확인: 웹사이트 소유자는 Bing 등에서 API 키를 생성하고, 이 키를 텍스트 파일 형태로 웹사이트 루트 디렉터리에 업로드하여 소유권을 증명합니다.
-
변경된 URL 제출: 웹사이트에서 URL이 추가, 수정, 삭제될 때 IndexNow API를 통해 해당 URL을 검색 엔진에 제출합니다. 단일 URL은 HTTP GET 요청으로, 다수 URL은 JSON 형식의 POST 요청으로 전송할 수 있습니다. 한 번에 최대 10,000개 URL 제출도 가능합니다.
-
핑(Ping) 방식 알림: 제출된 URL 정보는 핑 형태로 검색 엔진에 전달되어, 검색 엔진 크롤러가 해당 URL을 우선적으로 방문하도록 유도합니다. 이 방식은 기존의 풀링(polling) 방식과 달리, 검색 엔진이 무작위로 크롤링하지 않고 변경된 페이지에만 집중할 수 있게 합니다.
-
검색 엔진 간 정보 공유: 한 검색 엔진에 URL 변경 사항을 제출하면, 참여하는 다른 검색 엔진에도 자동으로 알림이 전파되어 여러 검색 엔진에서 신속한 색인이 가능해집니다.
-
효과: 이 프로토콜을 사용하면 검색 엔진이 웹사이트의 변경 사항을 며칠에서 몇 주가 아닌 거의 실시간으로 인지하여 크롤링 및 색인에 반영할 수 있어, 최신 콘텐츠가 빠르게 검색 결과에 반영됩니다.
요약하면, IndexNow는 웹사이트가 변경된 URL 정보를 API를 통해 검색 엔진에 푸시(핑)하여, 검색 엔진 크롤러가 신속히 해당 페이지를 방문하고 색인하도록 하는 간단한 구조의 실시간 인덱싱 프로토콜입니다. 이로 인해 크롤링 효율이 높아지고, 최신 콘텐츠가 빠르게 검색 결과에 반영됩니다.
