每天都有大量新網站被建立，因此搜尋引擎需要改變他們獲取最新內容的方式，讓這些內容能夠在線上發布後立即被索引。Cloudflare與Microsoft New Bing和Yandex合作支持IndexNow。Cloudflare對IndexNow的支持源於他們在首次Impact Week期間宣布的Crawler Hints倡議。Crawler Hints是一項服務，可提高約45％來自Web爬蟲和機器人的Internet流量的運作效率。Cloudflare通過確保爬蟲獲取先前爬取的信息以及網站是否值得再次爬取，實現這種效率提高。
看完本篇可以學到：
什麼是IndexNow
IndexNow是由Microsoft和Yandex搜尋引擎編寫的一個協議。該標準旨在提供一種有效的方式，讓搜尋引擎和其他網路爬蟲知道何時應該爬取內容。Cloudflare的Crawler Hints網路爬蟲提示現在支持IndexNow。
“在最簡單的形式下，IndexNow是一種簡單的ping，以便搜尋引擎知道URL及其內容何時被新增、更新或刪除，從而讓搜尋引擎快速反映這些變化在他們的搜索結果中”– IndexNow。
通過在您的網站上啟用Crawler Hints，只需簡單的點擊按鈕，Cloudflare將通過IndexNow協議向這些搜尋引擎發出信號，告知他們您的內容已更改。您不需要做任何其他操作！
這對搜尋引擎運營商意味著什麼？使用Crawler Hints，您將收到Cloudflare網站（已選擇加入）變更事件的近乎實時推送，這將極大地提高您的搜索結果質量，同時提高運行機器人的能源效率。
CloudFlare的Crawler Hints網路爬蟲提示
使用者可以透過Cloudflare免費提供的Crawler Hints快速把網站頁面提交給New Bing的webmaster。
Cloudflare最近宣布了兩個令人振奮的Crawler Hints更新：
第1個：Crawler Hints現在支持IndexNow，這是一種新的協議，允許網站在創建、更新或刪除網站內容時通知搜索引擎。通過與Microsoft和Yandex合作，Cloudflare可以幫助提高它們的搜索引擎基礎設施、客戶源服務器以及整個互聯網的效率。
第2個：Crawler Hints現在對所有Cloudflare客戶免費提供。客戶只需單擊一個按鈕即可從這些更高效的爬行中受益。如果您想啟用Crawler Hints，可以在儀表板的高速緩存選項卡中進行操作。
網路爬蟲提示 Crawler Hints 解決了什麼問題？
爬蟲幫助網際網路運作。為了提供依賴於從網際網路上索引內容的體驗，搜索引擎運營著一個爬行網絡，用於爬取網際網路，以識別與用戶查詢最相關的內容。但是，由於網絡上的內容總是在變化，並且沒有集中的清算中心來跟蹤這些網站上的更改，因此搜索引擎爬蟲面臨一個勞神的任務。他們必須不斷地在網際網路上漫遊，嘗試找出他們應該多頻繁地檢查給定站點以查找其內容更新的時間。
運營搜索引擎的公司一直在努力使這個過程盡可能高效，推動爬行頻率和基礎設施效率的最新技術。但還有一個明顯的浪費領域：過度爬行。
在 Cloudflare，我們看到來自所有主要搜索爬蟲的流量，並花了一年時間研究了這些機器人多久重新訪問一個自上次看到它以來沒有更改的頁面。每一次這樣的訪問都是浪費。不幸的是，我們的觀察表明，53% 的這些爬行器流量是浪費的。Crawler Hints網路爬蟲提示 旨在增加相關爬行的比例，並限制不能找到新鮮內容的爬行，從而提高客戶體驗，減少重複爬行的需要。
如果您想了解更多關於 Crawler Hints 的信息，請參閱原始blog post。
讓New Bing快速收錄網頁：啟用Crawler Hints-IndexNow
Crawler Hints是Cloudflare的免費服務，可提高網站效率。如果您想知道Crawler Hints如何影響世界上最大的搜索引擎對您的網站進行索引，請隨時選擇加入此服務：
- 登錄Cloudflare帳戶。
- 左側儀表板中，到 快取（Caching）。
- 點擊 設定。
- 找到Crawler Hints網路爬蟲提示，啟用即可。
一旦啟用，我們將開始向搜索引擎發送關於何時應該爬取您的網站特定部分的提示。 Crawler Hints有巨大的潛力可以提高互聯網的效率。
IndexNow與Crawler Hints網路爬蟲提示最新進展
自上線以來，Cloudflare已經有超過60,000個唯一的網站已選擇加入Crawler Hints。這些區域已向Bing發送了數十億個提示，以告知其網站上的特定資產已經更改，需要重新爬取。
IndexNow與Crawler Hints的下一步
我們非常高興與行業領袖Microsoft Bing和Yandex合作，將IndexNow引入Crawler Hints，並將Crawler Hints引入普遍可用性。 我們期待與其他運行爬蟲的公司合作，以幫助整個互聯網更高效地運作。
