Google Bot 檢索器和擷取程式來源
身為網站管理者或 SEO 專員,檢查伺服器日誌(Server Logs)是我們的日常工作。你是否曾經在流量報表中看到大量的「Googlebot」訪問紀錄,心想:「哇!Google 最近很愛我的網站,SEO 要起飛了嗎?」
先別高興得太早!在網路上,有許多惡意程式、垃圾郵件機器人或駭客工具,會刻意將自己的 User-Agent 偽裝成 Googlebot。它們這樣做的目的,通常是為了繞過網站的防禦機制,進行內容爬取、尋找漏洞,甚至是消耗你的伺服器資源。
那麼,我們該如何一眼識破誰是「真警察」,誰是「穿著警服的小偷」呢?
這篇文章將用最簡單的方式,教你如何利用官方提供的方法,驗證 Google 爬蟲的真實身份。









