Cloudflare 用戶注意:檢查你有冇誤擋 AI 爬蟲
要做嘅嘢:登入 Cloudflare 後台,搵 AI 爬蟲管理嗰版,確認你嘅設定係有意識咁揀,而唔係預設擋晒都唔知。
依據:Cloudflare 官方 Bots 文件。Cloudflare 而家俾你一鍵擋 AI 爬蟲,甚至有「按次收費俾 AI 讀」嘅模式。問題係:好多香港網站用緊 Cloudflare 但從來冇入去睇過 —— 你想俾 AI 引用,結果自己後台擋緊都唔知。
檢查清單
- Cloudflare 後台 → 你個域名 → Security → Bots:睇 AI 爬蟲相關選項(介面會寫明 AI crawlers / AI Crawl Control)係擋定放。
- Security → Events:篩選 user agent 例如
OAI-SearchBot、GPTBot,睇有冊被擋嘅紀錄。 - 決策建議:
- 想俾 ChatGPT / AI 搜尋引用 →
OAI-SearchBot、PerplexityBot、ClaudeBot要放。 - 介意內容俾人訓練 → 擋
GPTBot、CCBot呢類訓練 bot 係你嘅權利,同搜尋引用係兩回事。 - 唔好一個掣擋晒,因為入面包埋搜尋引用嗰啲。
- 想俾 ChatGPT / AI 搜尋引用 →
點樣驗證
扮爬蟲敲自己個站:
curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot" https://你個域名/
200→ 放行,正常。403→ 有嘢擋緊,返後台搵邊條規則(Bot Fight Mode、自訂 WAF rule 都可能係兇手)。
香港實例
未有公開實例 —— 防火牆設定係每個站主後台嘅私隱,冇得公開查證。呢篇嘅重點係叫你入去睇一次:十分鐘,之後你至小知道自己個站企喺邊一邊。
想我哋幫手套上去你個網站?話我哋知你睇緊邊篇。 WhatsApp 我哋