IndexNow 是一種主動通知搜索引擎網站內容變更的協議,允許網站所有者在新增、更新或刪除頁面時,透過 API 即時提交變更的 URL 給支持該協議的搜索引擎(如 Bing、Yandex),使搜索引擎能夠優先且快速地抓取這些頁面,從而大幅縮短索引延遲時間。
與此相比,傳統爬蟲抓取是被動的,搜索引擎的爬蟲會定期自動訪問網站,掃描整個網站的內容變化,這個過程速度較慢,且頻繁的爬取會增加網站伺服器負擔。
以下是兩者的主要差異:
| 方面 | 傳統爬蟲抓取 | IndexNow |
|---|---|---|
| 通知方式 | 被動等待爬蟲定期訪問網站 | 主動透過 API 即時通知搜索引擎 |
| 索引速度 | 延遲數小時至數天 | 幾分鐘內即時更新 |
| 伺服器負擔 | 高頻率爬取造成較大伺服器負擔 | 減少不必要的爬取,降低資源消耗 |
| 實施難度 | 無需額外開發,依賴搜索引擎爬蟲自動抓取 | 需設定 API,但開發簡單且標準化 |
| 資源效率 | 可能浪費爬取資源於未變更的頁面 | 只針對變更頁面進行抓取,提高效率 |
此外,IndexNow 還有一個重要特點是,提交的 URL 會在支持該協議的多個搜索引擎間共享,進一步提升索引效率並節省網站管理者的工作量。
所以,IndexNow 透過主動推送變更通知,實現了更快速、資源更節省的索引機制,解決了傳統爬蟲被動且耗時的問題。
