網頁仔 JAI Studio
← 全部實作任務

Cloudflare 用戶注意:檢查你有冇誤擋 AI 爬蟲

要做嘅嘢:登入 Cloudflare 後台,搵 AI 爬蟲管理嗰版,確認你嘅設定係有意識咁揀,而唔係預設擋晒都唔知。

依據:Cloudflare 官方 Bots 文件。Cloudflare 而家俾你一鍵擋 AI 爬蟲,甚至有「按次收費俾 AI 讀」嘅模式。問題係:好多香港網站用緊 Cloudflare 但從來冇入去睇過 —— 你想俾 AI 引用,結果自己後台擋緊都唔知。

檢查清單

  1. Cloudflare 後台 → 你個域名 → Security → Bots:睇 AI 爬蟲相關選項(介面會寫明 AI crawlers / AI Crawl Control)係擋定放。
  2. Security → Events:篩選 user agent 例如 OAI-SearchBotGPTBot,睇有冊被擋嘅紀錄。
  3. 決策建議:
    • 想俾 ChatGPT / AI 搜尋引用 → OAI-SearchBotPerplexityBotClaudeBot 要放。
    • 介意內容俾人訓練 → 擋 GPTBotCCBot 呢類訓練 bot 係你嘅權利,同搜尋引用係兩回事。
    • 唔好一個掣擋晒,因為入面包埋搜尋引用嗰啲。

點樣驗證

扮爬蟲敲自己個站:

curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot" https://你個域名/
  • 200 → 放行,正常。
  • 403 → 有嘢擋緊,返後台搵邊條規則(Bot Fight Mode、自訂 WAF rule 都可能係兇手)。

香港實例

未有公開實例 —— 防火牆設定係每個站主後台嘅私隱,冇得公開查證。呢篇嘅重點係叫你入去睇一次:十分鐘,之後你至小知道自己個站企喺邊一邊。

想我哋幫手套上去你個網站?話我哋知你睇緊邊篇。