隨想
2026.11.03·27 分鐘閱讀
四大 AI 巨頭統一 robots.txt 訓練退出標準，但獨立站長或許該放下防白吃白拿的執念了
2026 年 10 月 30 日，OpenAI、Google、Microsoft 與 Anthropic 罕見同步支援基於 robots.txt 的跨廠商統一 AI 訓練退出標記 __usage_ai-training，但這項協定既不管即時 RAG 擷取截流，也擋不住高達 30% 的違規爬取與住宅代理爬蟲。在傳統 PC 網站流量時代早已落幕的今天，除非你正在經營像 linux.do 這類沉澱高濃度真人互動對話的論壇社群，否則獨立站長與其死守幾百行黑名單，不如讓內容對搜尋引擎、AI 與人類閱讀體驗全面 Open，把真正的護城河建在更容易變現的產品上。
AFeng