Cloudflare 今日起預設封鎖 AI 訓練爬蟲——Googlebot 隨時被波及！香港網站必須立刻檢查嘅4個步驟

今日（2026 年 9 月 15 日）係 Cloudflare 新 AI 爬蟲管理政策正式生效嘅日子。如果你嘅網站使用 Cloudflare 嘅 CDN 服務（香港好多中小企網站都用緊），而你曾經開過任何「封鎖 AI 爬蟲」嘅設定——無論係新嘅 AI 流量管理功能定係舊嘅「Block AI bots」掣——你嘅網站而家可能已經被自動封鎖咗 Googlebot 同 Bingbot 嘅存取。

呢件事對香港企業嚟講極之重要。Cloudflare 喺香港嘅市場佔有率極高，好多本地 SME 網站、電商平台同內容網站都依賴 Cloudflare 提速同保護。如果 Googlebot 無法存取你嘅網站，Google 搜尋結果入面你嘅頁面會逐漸消失，自然搜尋流量會直線下跌。

一、Cloudflare 今日改咗啲咩？

Cloudflare 喺 2026 年 7 月 1 日宣布，由 9 月 15 日起更改旗下網絡嘅 AI 爬蟲管理規則。具體變化包括：

• 新客戶／新網站：預設為「允許搜尋爬蟲，封鎖 AI 訓練同代理爬蟲」
• 現有免費方案客戶：如果未自行更改設定，同樣會套用新預設規則
• 所有已開啟「Block AI bots」嘅客戶：呢個設定會同時封鎖 Googlebot、Bingbot 同 Applebot——因為 Cloudflare 將呢啲爬蟲歸類為「多功能爬蟲」，同時用於搜尋索引同 AI 訓練

Cloudflare 嘅政策邏輯係「最嚴格規則優先」：如果一隻爬蟲同時做搜尋同 AI 訓練，而網站封鎖咗 AI 訓練，呢隻爬蟲就會被完全封鎖。Googlebot 就係呢種「多功能爬蟲」嘅典型例子——佢同時為 Google 搜尋結果同 AI Overviews、AI Mode 提供內容。

二、點解 Cloudflare 要咁做？

Cloudflare 嘅官方說法係要推動科技公司將佢哋嘅爬蟲按用途分開。理想嘅世界係：Google 應該有一隻爬蟲專做搜尋索引，另一隻爬蟲專做 AI 訓練，網站可以按需要分別允許或封鎖。

但現實係 Google 目前將呢兩種功能綑綁喺同一隻 Googlebot 入面。Cloudflare 認為呢種做法令 Google 擁有「不公平優勢」——網站如果想繼續獲得搜尋流量，就無法拒絕 Googlebot 存取自己嘅內容用於 AI 訓練。

Cloudflare 呢步棋嘅影響極大，因為佢哋嘅網絡覆蓋全球約 20% 嘅網站流量。當網絡基礎設施層面直接封鎖爬蟲，而唔係只靠 robots.txt 嘅「建議」時，效果係絕對性嘅——Googlebot 根本連你個 server 都掂唔到。

三、香港網站最易中招嘅 3 種情況

1. 用咗 Cloudflare 嘅「Block AI bots」舊設定

好多香港網站管理員喺幾個月前見到 AI 爬蟲盛行時，開咗 Cloudflare 嘅「Block AI bots」功能。呢個設定今日起會自動延伸至封鎖 Googlebot 同 Bingbot。如果你開咗就冇再理過，而家 Googlebot 可能已經無法存取你嘅網站。

2. 用緊 Cloudflare 免費方案但未改過設定

如果你係 Cloudflare 免費方案客戶，而且從未手動更改過 AI 爬蟲相關設定，今日起新預設規則會自動生效。AI 訓練同代理爬蟲會被封鎖，而多功能爬蟲（包括 Googlebot）亦會受到影響。

3. 新加入 Cloudflare 嘅網站

如果你最近先將網站搬上 Cloudflare，預設已經封鎖咗 AI 訓練爬蟲。你未必意識到 Googlebot 可能因此被波及。

四、香港網站必須立即檢查嘅 4 個步驟

1. 登入 Cloudflare Dashboard → 進入 Scrape Shield 或 Bot Management 設定頁面
2. 檢查「AI 爬蟲／訓練」相關設定：如果你見到任何封鎖 AI 訓練嘅選項被打開，立即檢查入面嘅「例外清單」有冇排除 Googlebot 同 Bingbot
3. 檢查 Google Search Console：如果發現 crawl stats 突然大幅下降，或者出現大量「DNS 無法解析」或「連線逾時」嘅錯誤，好大機會係 Cloudflare 封鎖咗 Googlebot
4. 如需要，將 Googlebot 加入白名單：喺 Cloudflare 嘅 WAF（Web Application Firewall）或者 Bot Management 入面，建立一條規則允許 Googlebot 嘅 IP 範圍通過

Google 有公布 Googlebot 嘅完整 IP 列表（可用 dig 或 nslookup 查詢 googlebot.com 嘅 DNS 記錄），你可以將呢啲 IP 範圍加入 Cloudflare 嘅 Allowlist。

五、對香港企業嘅長遠影響

呢件事暴露咗一個更深層嘅問題：網站內容嘅 AI 使用權益。Cloudflare 嘅行動係要迫使 Google 等科技巨頭將搜尋爬蟲同 AI 訓練爬蟲分開，俾網站有真正嘅選擇權。

對香港企業嚟講，呢個趨勢意味住：

• 網站技術管理更加複雜：唔再係「開咗 Cloudflare 就唔使理」——你需要定期檢查爬蟲存取設定
• AI 內容授權可能成為新常態：Google 正喺度測試俾錢內容創作者（我哋今日另一篇文有詳細講），呢個可能係未來內容變現嘅新途徑
• 網站需要更清晰嘅爬蟲策略：建議制定一份爬蟲存取政策，明確邊啲爬蟲允許、邊啲封鎖