使用者代理 每個搜尋引擎都用不同的用戶

muhammad166152@

如果您以前從未見過這些文件，它們可能看起來有點可怕。 然而，語法非常簡單。 簡而言之，您可以透過指定後跟指令的使用者代理來為機器人分配一些規則。 如果您願意，讓我們更詳細地研究這兩個組件。 什麼是 robots.txt 使用者代理程式和指令？代理來標識自己。 您可以在 robots.txt 檔案中為每個內容設定具體說明。 有數百個可用的用戶代理，但以下是一些對 SEO 有用的用戶代理： 谷歌： Google機器人 Google 圖片： Googlebot-圖片 必應：必應機器人 雅虎：啜飲 百度： Baiduspider DuckDuckGo： DuckDuckBot 請注意： robots.txt 中的所有使用者代理程式均區分大小寫。


您也可以使用星號 (*) 字元來指派適用於所有使用者代理程式的指令。 例如，假設您想要阻止 Googlebot 以外的所有機器人抓取您的網站。您可以按如下方式執行此操作： 使用者代理：*禁止：/ 使用者代理：Googlebot允許：/ 請注意，您的 robots.txt 檔案可以包含針 南非 電話號碼 對任意數量的使用者代理程式的說明。 但是，每次聲明新的用戶代理時，您的文件都會充當乾淨的狀態。 換句話說，如果您為多個使用者代理程式新增指令，則為第一個使用者代理聲明的指令將不適用於第二個、第三個或後續使用者代理程式。 作為此規則的例外，您可以多次聲明相同使用者代理程式。



在這種情況下，將合併並遵循所有相關說明。 重要的提示： 瀏覽器只遵循用戶代理指定的完全適用於它們的規則。 這就是為什麼上面顯示的 robots.txt 檔案會阻止 Googlebot（和其他 Google 機器人）之外的所有機器人抓取該網站。 Googlebot 會忽略不太特定的用戶代理通知。 指南 準則是您希望指定的使用者代理程式遵循的規則。 支援的指令 目前 Google 支援的指南及其用法如下： 不允許 使用此指令指示搜尋引擎不要存取位於特定路徑內的文件和頁面。例如，如果您想阻止所有搜尋引擎訪問您的部落格和所有帖子，您的 robots.txt 檔案應如下所示： 使用者代理：*禁止：/blog 一個小注意事項：如果您無法在「block」指令後定義路徑，搜尋引擎將忽略它。