Cloudflare AI防爬功能意外封鎖Googlebot？香港網站管理員必須知道的技術SEO風險

如果你嘅香港中小企網站使用Cloudflare做CDN或安全防護，最近有一個技術SEO問題你需要即刻關注。據Search Engine Journal報導，Cloudflare嘅AI防爬功能（AI Bot Blocking）可能意外地同時封鎖Googlebot，導致網站頁面無法被Google正常索引——對任何依賴自然搜尋流量嘅香港企業來講，呢個係一個「緊急級別」嘅問題。

問題係點樣發生嘅？

Cloudflare喺2025年底推出咗一個針對AI爬蟲嘅封鎖功能，旨在防止AI公司嘅爬蟲未經授權抓取網站內容嚟訓練模型。但根據最新報導，呢個功能嘅規則判斷可能存在漏洞，導致正當嘅搜尋引擎爬蟲——包括Googlebot——都同樣被封鎖。

具體嚟講，Cloudflare嘅AI Bot Blocking使用行為分析同IP信譽嚟判斷請求係咪來自AI爬蟲。但由於Googlebot嘅部分IP範圍同AI爬蟲嘅IP範圍可能出現重疊，或者行為模式被誤判，結果就出現「一刀切」嘅誤封情況。網站管理員可能完全唔知道Googlebot已經被阻擋，直到自然流量開始明顯下跌先發現問題。

對香港企業嘅實際影響

香港好多中小企網站都使用Cloudflare嘅免費方案嚟加速網站同抵禦DDoS攻擊。如果呢個問題影響到你嘅網站，後果可以好嚴重：

• 新頁面無法被索引：Googlebot每次嚟都被Block，新出嘅Blog文章、產品頁面、服務介紹就永遠唔會出現在Google搜尋結果中。
• 現有排名可能下跌：Google會定期重新抓取已索引嘅頁面嚟確認內容更新同質量。如果連續被Block，Google可能會逐漸降低對你網站嘅信任度，導致排名下跌。
• 浪費已投入嘅SEO資源：你花咗時間同金錢做內容、做外連、做技術優化，但Googlebot根本入唔到嚟——所有努力打水漂。
• 影響Search Console數據：Google Search Console會顯示「網址無法被抓取」或「DNS錯誤」等異常，但唔少網站管理員未必會即時留意到呢啲警號。

點樣自查你嘅網站有冇受影響？

唔使驚慌，以下幾個步驟可以快速確認你嘅網站係咪已經中招：

步驟一：檢查Google Search Console

登入Google Search Console，揀你嘅網站，然後去「設定」>「抓取統計資料」。睇下「主機可用性」同「下載率」有冇異常下跌。如果喺你啟用Cloudflare AI Bot Blocking之後，Googlebot嘅抓取率突然大跌，咁就好大機會中咗。

步驟二：檢查Cloudflare防火牆日誌

喺Cloudflare Dashboard入面，去「安全」>「事件日誌」，搜尋「Googlebot」或者檢查被Block嘅請求。如果你見到大量Googlebot請求被歸類為「AI Crawler」或「Bot Score」太低而被Block，就係問題所在。

步驟三：手動驗證Googlebot存取

你可以用Google嘅「網址檢查工具」（URL Inspection Tool）直接測試某一頁面嘅抓取情況。如果Google話「無法存取」或「重新導向錯誤」，但你自己用瀏覽器開又正常，咁好可能係Cloudflare嘅防火牆阻擋咗Googlebot。

解決方案同預防措施

如果你確認受影響，以下係你可以即時採取嘅行動：

1. 暫停AI Bot Blocking：最直接嘅做法係暫時關閉Cloudflare嘅AI防爬功能，然後觀察Googlebot恢復正常抓取。
2. 加入白名單：將Googlebot嘅已知IP範圍加入Cloudflare防火牆嘅白名單（allowlist），確保Googlebot永遠唔會被阻擋。Google官方會定期更新爬蟲IP列表。
3. 使用WAF規則：如果你需要繼續封鎖AI爬蟲，可以改用Cloudflare嘅WAF（Web Application Firewall）自訂規則，專門識別AI爬蟲而唔影響Googlebot。
4. 驗證robots.txt：確認你嘅robots.txt冇錯誤地將Googlebot指向被封鎖嘅路徑。

結語：安全防護與SEO之間嘅平衡

保護網站內容唔俾AI公司任意使用係合理嘅需求，特別係對內容創作者同中小企嚟講。但呢個保護唔應該影響到你嘅搜尋引擎曝光。香港嘅網站管理員需要明白：Googlebot係你嘅朋友，唔係敵人。任何聲稱「防AI爬蟲」嘅工具或功能，你都應該先喺測試環境驗證對Googlebot嘅影響，先至正式啟用到生產環境。

如果你近期啟用咗Cloudflare嘅AI Bot Blocking，又發現自然流量有異常下跌，建議你即刻做上述自查。及早發現、及早處理，可以避免長時間嘅SEO損失。