2026 年 10 月 30 日,Anthropic 標準技術負責人 Kevin Kelley 向網際網路工程任務組(IETF)提交了個人網際網路草案《Machine-Readable Training Preference Signal》(文件編號 draft-kelley-aipref-training-preference-signal-00),定義了基於標準 robots.txt 的跨廠商統一 AI 訓練偏好標記 User-Agent: __usage_ai-training。同一天,Google、Microsoft、OpenAI 與 Anthropic 四大一線模型廠商罕見地同步表態支援——表面上看,網站站長們苦熬了三年的「逐家封鎖百餘隻爬蟲打地鼠」時代,終於要被一行簡單的設定終結了。
但把草案條款、四家大廠的實作細則與第三方伺服器遙測日誌攤開對照,就會發現這份妥協遠沒有聽起來那麼慷慨。它只管修改模型權重的預訓練與後訓練,完全不管直接截留搜尋點擊的即時檢索增強(RAG / Grounding);Google 甚至將其與 Gemini 問答引用綑綁成「二選一」;而面對高達 15% 至 30% 的公開違規爬蟲與輪換住宅代理 IP 的商業資料擷取商,一紙 robots.txt 連防盜紗窗都稱不上。
更值得獨立開發者和個人站長想清楚的是,在傳統 PC 網站流量時代早已落幕的今天,除非你正在經營像 linux.do 那樣沉澱高濃度真人對話的論壇社群,否則死守幾篇公開靜態文章既防不住無償搜刮,也換不來半毛錢實質利益。與其在幾百行黑名單裡內耗,不如徹底轉變觀念讓內容全面 Open——對搜尋引擎友善、對 AI 爬蟲友善、對人類閱讀體驗友善,把真正的護城河建在更容易變現的產品上;如果這個網站本來就不為變現,那就瀟灑隨它去。
一行設定管四家,IETF 新草案到底規範了什麼
要理解為什麼四大 AI 巨頭會在 2026 年 10 月底突然握手言和,先看看先前的 robots.txt 黑名單已經荒謬到了什麼地步。
就在四巨頭正式宣布前一天(2026 年 10 月 29 日),獨立研究者 Kuldeep Paul 發布了針對 Tranco 全球排名前 10,000 大高流量網域中 5,701 份有效 robots.txt 與 197 隻已知 AI 爬蟲(45 隻官方公開 + 152 隻社群追蹤)的深度稽核報告。結合 Suff Digital 基於 HTTP Archive 1,547 萬個網站的全網掃描資料(全網 9.9%、CrUX 前 1,000 大熱門網站中有 28.9% 封鎖了至少 1 隻 AI 爬蟲),過去三年「依廠商逐家封鎖」的模式已經出現系統性失靈:
- 半數網站陷入「篩子式封鎖」:在明確封鎖 OpenAI
GPTBot的 810 個指標性網站裡,整整 50.0%(405 個網站)漏擋了至少 1 隻其他主流大型模型訓練爬蟲——其中 79.5% 未封鎖cohere-training-data-crawler,75.3% 未封鎖MistralAI-Training,37.0% 未封鎖Amazonbot,35.1% 未封鎖Applebot-Extended,34.1% 未封鎖Meta-ExternalAgent,27.3% 未封鎖Google-Extended,23.3% 未封鎖Bytespider,18.8% 未封鎖ClaudeBot。全樣本中僅有 6.0%(344 個網站)完整封堵了全部 8 家主流訓練爬蟲。 - 三分之二殘留「殭屍標記」:在封鎖 3 隻以上 AI 爬蟲的 1,037 個網站中,多達 66.2%(687 個)至今仍在規則裡寫入 Anthropic 早已淘汰的
anthropic-ai或Claude-Web舊標記;更有 51 個大型網站(包含espn.com與abcnews.com)只封了淘汰舊名卻漏掉現行的ClaudeBot,形同虛設。 - 規則膨脹與標準難產:為了防漏,不少網站被迫維護冗長的複製貼上清單,單一網站最高甚至封鎖了 192 隻 AI 爬蟲(
brand-catcher.com)。而 IETF 於 2025 年 1 月成立aipref工作小組後原本推動的綁定草案draft-ietf-aipref-attach-05,由於試圖在robots.txt中新增Content-Usage: train-ai=n指令行——既要修改全球既有 RFC 9309 解析器語法,又在即時 RAG 權限劃分上爭執不下,最終陷入僵局。

正是在工作小組原方案擱淺的背景下,Anthropic 的 Kevin Kelley 繞開新語法之爭,交出了這份效期至 2027 年 5 月 3 日的個人草案,並獲得四大廠商同步背書:
"This document describes how a service operator binds usage preferences (e.g., 'no AI training') to paths by writing ordinary robots.txt groups keyed by a per-purpose policy token in the User-Agent line. It introduces no new directive names and no new grammar: the path language, longest-match precedence, and group structure of robots.txt are not changed." (本文件說明服務營運者如何透過在 User-Agent 行中,以依用途劃分的政策標記作為索引鍵來撰寫一般 robots.txt 規則群組,進而將使用偏好綁定至特定路徑。此機制不引入新的指令名稱,也不引入新的語法:robots.txt 的路徑語法、最長比對優先順序與群組結構均維持不變。)
依照草案規範,若站長希望禁止全站內容用於生成式 AI 模型訓練,僅對 /press-kit/ 媒體資料目錄放行,只需在 robots.txt 中寫入:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
這幾行看似直白的設定背後,藏著四條必須看清的技術邊界:
- 雙底線(
__)防碰撞設計:正如日本 SEO 專家鈴木謙一在技術剖析中所指出的,__usage_ai-training完全符合 RFC 9309 的字元集,開頭刻意加上雙底線__,是為了防止部分實作過於寬鬆(如執行子字串模糊比對)的舊版解析器將其與真實爬蟲名稱誤判比對。未支援該標準的傳統搜尋爬蟲會將其視為未知爬蟲直接略過,確保既有搜尋收錄零影響。 - 萬用字元
User-Agent: *絕不繼承:草案第 4.2 節寫下了硬性禁令——User-Agent: *規則群組絕不能(MUST NOT)被解讀為比對__usage_ai-training。就算你的網站寫了全域User-Agent: *+Disallow: /,只要沒有明確寫出__usage_ai-training,在此機制下就等同於unknown(未表達退出訓練意願)。 - 僅限「生成式模型參數修改」,非生成式任務豁免:草案直接引用詞彙表
draft-ietf-aipref-vocab-08的定義,只約束「修改生成式 AI 模型習得參數」的行為;若模型僅用於分類、排序或垃圾內容評分(就算順帶輸出文字理由),其訓練完全不受此限。 - 不阻斷抓取、不溯及既往、商業合約優先:
__usage_ai-training不會出現在 HTTP 請求標頭裡,也不禁止爬蟲把網頁抓回本地端;它只對抓取當下生效,不要求廠商刪除先前已收錄的資料或還原已訓練好的模型權重;且平台與網站之間的私下商業合約可以直接覆蓋robots.txt宣告。
四大巨頭同床異夢,過渡期設定與綑綁陷阱
促成四大巨頭在同一天集體表態的直接推手,其實是歐美監管高懸的達摩克利斯之劍。
一方面,歐盟《人工智慧法案》(EU AI Act)第 53(1)(c) 條及配套《通用 AI(GPAI)實踐準則》強制要求模型供應商支援透過 IETF 制定的跨產業統一 robots.txt 控制標準,Google 在官方公告裡直接點名新提案是為了對齊歐盟準則。另一方面,英國政府於 2026 年 3 月 18 日向國會提交的《版權與人工智慧報告》中揭露,在 11,500 餘份公眾諮詢意見回饋裡,高達 88% 的受訪者要求強制事前授權(Opt-in),僅 3% 贊成機器可讀退出機制(Opt-out),迫使英國政府正式放棄推出法定 TDM 退出例外條款。為了證明「產業自願性技術標準足以解決問題、無需更嚴厲的事前許可立法」,四巨頭火速推出了這套統一訊號。
但只要細讀四家公司的官方細則,就會發現同一行 User-Agent: __usage_ai-training 在各家後台觸發的真實後果截然不同:

| 參與廠商 | 預計生效時間 | 既有專有爬蟲與控制標記 | 對 AI 搜尋 / Grounding 引用的連帶影響 | 關鍵注意事項與陷阱 |
|---|---|---|---|---|
| Microsoft(Bing) | 2027-02-01 | Bingbot、頁面級 ai-training 與 ai-grounding |
完全解耦,退出訓練預設仍允許 Copilot 與 Bing AI 引用並導流 | 2027-03-01 正式淘汰 NoArchive / NoCache 的 AI 退出語意,逾期未遷移將回復為 Allow |
| 2027 年初 | Googlebot、Google-Extended(專有標記優先順序較高) |
強制綑綁 Gemini Apps,退出訓練即喪失 Gemini 回答 Grounding 引用與點擊 | Google 搜尋本體的 AI Overviews 與 AI Mode 綁死在 Googlebot 上,不受此訊號約束 |
|
| OpenAI | 未來幾個月內 | GPTBot(訓練)、OAI-SearchBot(搜尋)、ChatGPT-User |
搜尋呈現由 OAI-SearchBot 獨立控制,理論上不連帶封鎖 |
公告將範圍限定為「基礎生成式 AI 訓練」,與 GPTBot 衝突時的優先順序尚未公布 |
| Anthropic | 開發中(未定) | ClaudeBot(訓練)、Claude-SearchBot、Claude-User |
作為現有爬蟲體系的補充,搜尋爬蟲獨立劃分 | Kevin Kelley 坦言跨服務邊界案例複雜,上線仍需時日 |
這裡反差最強烈的是 Microsoft 與 Google 截然相反的產品誠意。
微軟 Bing 首席產品經理 Krishna Madhavan 在官方部落格中明確承諾「出版商不應被迫在能夠於 Bing 中被發掘,以及決定生成式模型如何使用其作品之間做出選擇」,不僅將 AI Training 與頁面級 AI Grounding 徹底拆成兩個獨立開關,還新增了一個極具針對性的 DisallowExtended 層級——允許內容出現在 Bing AI、Copilot 與 Microsoft 365 自家回答裡換取引用曝光,但禁止微軟透過 Web IQ 或 Azure Foundry API 把你的內容轉售給第三方商業客戶。唯一需要留意的是,依賴舊版 NoArchive / NoCache 標籤防堵 AI 的既有網站,必須在 Bing Webmaster Tools 於 2026 年 12 月 15 日開放的過渡設定面板(效期至 2027 年 9 月 30 日)或 2027 年 3 月 1 日大限前完成遷移。
反觀 Google,搜尋倡議者 John Mueller 給出的對應規則堪稱精明的「二選一綑綁」:
"When a website uses this policy token to opt out of training in its robots.txt file (and Google-Extended is not explicitly specified), Google plans to interpret that as if the publisher had disallowed Google-Extended... Websites that specifically allow Google-Extended are eligible to appear in responses and receive clicks via grounding in Gemini Apps." (當網站於其 robots.txt 檔案中使用此政策標記退出訓練,且未明確指定 Google-Extended 時,Google 預計將其視為出版商已封鎖 Google-Extended……唯有明確允許 Google-Extended 的網站,才有資格透過 Grounding 機制出現在 Gemini Apps 的回答中並獲得點擊。)
正如《Search Engine Journal》資深編輯 Matt G. Southern 所批評的,由於 Google-Extended 把「訓練下一代 Gemini 模型」與「Gemini Apps 即時 Grounding 引用」綁在同一條繩子上,站長只要寫了 __usage_ai-training 退出訓練,就會自動痛失 Gemini Apps 的回答引用;而如果你為了保住 Gemini 引用去寫 Google-Extended: Allow,根據專有標記優先規則,你的內容又會重新被拿去餵養 Gemini 模型。至於流量規模更大的 Google 搜尋 AI Overviews(月活躍用戶 25 億)與 AI Mode(月活躍用戶逾 10 億),則直接綁死在傳統主力爬蟲 Googlebot 身上——Kuldeep Paul 的退出不對稱性研究證實,在封鎖 Google-Extended 的 667 個大型網站裡,99.85%(666 個)根本不敢動 Googlebot 分毫。
再加上 Meta 傳播主管僅在社群平台口頭稱讚該標準是「重要一步」卻拒絕承諾遵守(甚至在 2026 年 10 月試圖透過修改商業服務條款,強迫使用 Facebook/Instagram 工具的媒體授權爬取外部網站,引發 WAN-IFRA 等全球出版商協會聯合抗議後才將生效期延後至 11 月 20 日),以及 Apple、ByteDance、Perplexity 與中國大型模型廠商尚未跟進,若站長現階段確實想在規則層面拒絕訓練、保留搜尋引用,2026 至 2027 過渡期絕不能刪除既有爬蟲名稱,標準設定應當是「新通用訊號 + 未生效期四巨頭訓練標記 + 未加入協定廠商標記」並存:
# 1. 跨廠商統一 AI 訓練退出訊號(2026 年底至 2027 年初陸續生效)
User-Agent: __usage_ai-training
Disallow: /
# 2. 過渡期保留四大巨頭獨立訓練標記(放行 OAI-SearchBot / Claude-SearchBot 保留搜尋引用)
User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /
# 3. 尚未承諾支援統一訊號的其他主流訓練與資料擷取爬蟲
User-Agent: CCBot
User-Agent: Bytespider
User-Agent: Meta-ExternalAgent
User-Agent: Applebot-Extended
User-Agent: Amazonbot
User-Agent: cohere-training-data-crawler
User-Agent: MistralAI-Training
Disallow: /算清流量帳與攻防帳,一紙君子協定鎖不住內容
把上面這段嚴絲合縫的 robots.txt 部署上線之後,你的原創心血就真的免遭「白吃白拿」了嗎?只要算清流量與攻防這兩筆硬帳,答案其實很殘酷。

先算第一筆**「只吃不吐」的流量帳**,這也是絕大多數內容創作者本能反感大廠白吃白拿的根源。
根據 Cloudflare Radar 橫跨 12 個月的全球遙測與流量用途拆解報告,全網 AI 爬蟲請求中高達 80% 用於餵養模型訓練,僅 18% 用於 AI 搜尋索引,2% 至 3.2% 用於使用者觸發存取。每向原網站送回區區 1 次真實人類點擊,Anthropic 平均要抓取網頁 147,754.7 次(2025 年 1 月峰值甚至達到驚人的 286,930.1:1),OpenAI 平均抓取 1,437.8 次,Perplexity 抓取 172.4 次,Microsoft 抓取 42.3 次,Google 抓取 11.8 次。
TollBit 對全球出版商第一方伺服器日誌的追蹤更直觀地印證了這種失衡:網站上「AI 爬蟲造訪 : 人類造訪」的密度從 2025 年第一季的 1:200 飆升至第四季的 1:31(2026 年上半年歐洲網站達 1:33),然而 AI 平台帶來的外部導流流量加總僅占總外部導流的 0.04% 至 0.16%;AI 導流平均點擊率(CTR)在半年內從 0.80% 暴跌至 0.27%,比傳統 Google 自然搜尋 8.6% 的平均點擊率低了將近 96%(即便是 Google AI Overviews,點擊率也僅有約 0.9%,見 Search Engine Roundtable)。
更關鍵的是,BBC 代表 Chris Needham 在 IETF 工作小組 Issue #172 中一針見血地指出,真正抽乾原創網站的點擊量的是即時 RAG 與問答摘要,而 __usage_ai-training 對此完全不管;Adobe 與 Mozilla 工程師在 Issue #246 與 Issue #254 中也警告,把網頁切成向量嵌入(Embeddings)快取,或是藉 AI Agent「使用者觸發」之名代讀,都成了規避訓練退出的「偏好黑洞」。同時,與內建計費協定的 RSL 1.0、歐盟 W3C TDMRep,或是 Cloudflare 推出的 HTTP 402 Pay Per Crawl 按次爬取付費及涵蓋逾 380 萬個網域的 Content Signals 政策(自 2026 年 9 月 15 日起已預設替新接入的廣告網站於邊緣節點攔截訓練爬蟲)不同,四巨頭推行的 __usage_ai-training 純粹是無償的二元開關,不產生半毛錢版權收益。
再算第二筆**「防君子不防小人」的攻防帳**。
- 高達三成的公開違抗:TollBit 日誌稽核顯示,亮明身分的 AI 爬蟲直接無視
robots.txtDisallow強行抓取的違規比例,從 2024 年底的 3.3% 一路飆升至 2025 年底的 30%(2026 年上半年歐洲網站仍高達 15%)。 - 隱身代理與商業轉售橫行:早在 2025 年 8 月,Cloudflare 資安團隊便透過數位鑑識證實,當網站用
robots.txt與防火牆封鎖PerplexityBot後,對方會切換至偽裝成 macOS Chrome 瀏覽器的隱身爬蟲並輪換住宅代理 IP 繞過封鎖。TollBit 在 2026 年上半年的金絲雀測試更發現,向 AI 實驗室轉售語料的 14 至 15 家商業資料擷取平台,在單次請求中輪換 32 至 43 個住宅代理 IP 並偽造Googlebot身分,成功攻破了 30 家受測英美主流媒體中 27 家(90.0%)的硬性付費牆,轉手以最高 22.50 美元/千頁的價格賣給大型模型團隊。 - 後台訓練零可觀測性:資安與治理分析師 P.K. Sharma 在分析簡報裡點破了最後一層窗戶紙:
"A 'signal' that a provider will 'honor' sounds like a lock. The documents say otherwise. The vocabulary draft states that preferences are 'not a security mechanism'... A training preference attached to content that was fetched for another purpose leaves no such trace in a site's logs. Whether the training use of a page happened under one crawl or another is something only the operator can say." (供應商承諾「遵守」的「訊號」聽起來像是一把鎖,但文件內容並非如此。詞彙表草案明確指出,偏好設定「不是一種安全機制」……附加在因其他目的而抓取的內容上的訓練偏好,不會在網站日誌裡留下任何痕跡。某個頁面的訓練用途究竟發生在哪一次抓取過程,只有模型營運方自己心知肚明。)
當 Googlebot、Bingbot 或 OAI-SearchBot 合法抓走你的網頁用於搜尋後,這份 HTML 在大廠內網有沒有流進後訓練或合成資料管線,獨立站長從自己的 Nginx 日誌裡連一絲痕跡都查不到。
後 PC 時代的護城河分野,誰該嚴防死守,誰該徹底放手
聊完協定細節與殘酷數據,我想跳脫技術參數,談談自己身為獨立開發者與部落格站長的真實想法。
站在創作者的立場上,不想被大廠無償揩油是再正當不過的本能。辛辛苦苦追查好幾天 Bug、實測整理出來的深度長文,大廠連聲招呼都不打就拿去餵養百億參數的商業模型,既不付費,連幾個導流點擊都吝嗇給,換作是誰心裡都會覺得憋屈。這也是為什麼每逢新的防爬標準出爐,站長圈總會掀起一波抄設定熱潮。
但冷靜下來換個角度想,就算我們把 robots.txt 設得滴水不漏,徹底不讓 AI 訓練甚至不讓 AI 引用,又能改變什麼呢?
我們必須承認一個已經發生的結構性事實:傳統 PC 網站的時代,基本上已經結束了。
過去二十年裡,獨立站長習以為常的那套「寫文章 → 等搜尋引擎收錄排上首頁 → 讀者點進 PC 網頁閱讀 → 靠 AdSense 展示廣告或聯盟行銷連結變現」的流量變現循環,不管你防不防 AI 爬蟲,都已經不可逆地萎縮了。使用者獲取資訊的入口早已從「打開十個藍色連結逐頁比對」,轉移到了對話視窗、行動端推播與 AI 代理工作流程裡。把自家部落格的大門焊死,並不會讓已經消失的 PC 時代傳統搜尋流量重新回到你的網站上,只會讓你在新的資訊分發網路裡徹底隱形。

在我看來,今天到底要不要防爬蟲,核心取決於你的網站屬於哪一種物種:
極少數真正需要嚴防死守爬蟲的,是像 linux.do、Reddit 這類沉澱著高濃度「真實活人資料」的論壇與社群。 在 AI 生成廢話氾濫成災的年代,成千上萬真實開發者每天高頻發文、即時互助、打趣閒聊、分享第一手實戰踩坑與資源所形成的鮮活對話與社群氛圍,是全網最稀缺的數位資產,也是這類論壇真正的立身護城河。如果不加防範,任由各路爬蟲高並行掃蕩,不僅核心社群壁壘會被瞬間抽空,源站資料庫與頻寬也會被直接打穿。而且你會發現,這類社群防爬蟲從來不會天真地指望一行 robots.txt,而是直接上 Cloudflare 高強度五秒盾、WAF 行為質詢、登入狀態與等級閱讀門檻——因為人家守的是真金白銀的活人生態。
但對於絕大多數獨立部落格、個人技術文件站與中長尾網站而言,幾篇公開的靜態文章本身並不是靠「藏著不讓 AI 看」就能保值的護城河。 既然技術上防不勝防(防住了守規矩的大廠訓練爬蟲,防不住掛著住宅代理的資料掮客與單次抓取重複利用),商業上鎖死了也帶不來任何真實收益,那我們最該更新的其實不是 robots.txt,而是自己的觀念。
內容全面 Open,把體驗做透,把變現交給真正的產品
既然防不勝防、防了也無利可圖,獨立站長更聰明的活法反而是徹底反過來——放下防白吃白拿的執念,讓內容全面 Open,去打磨真正容易變現的產品。

我所說的「內容全面 Open」,並不是擺爛不管網站品質,而是把原本浪費在折騰防爬黑名單上的精力,全部收回來投入到「三個友善」上:
- 對搜尋引擎友善(SEO 最佳化):把語意化 HTML 結構、清晰的 URL 層級、精準的標題摘要中繼資料(Metadata)與頁面首屏載入回應速度做到位,讓傳統搜尋引擎依然能毫無阻礙地抓取並理解你的內容。
- 對 AI 爬蟲與問答引擎友善(GEO 最佳化):坦然拆掉那些綁手綁腳的爬蟲封鎖,寫出結論先行、論據紮實、程式碼區塊可重現、結構層次分明的文章。當同行在 ChatGPT、Claude、Copilot 或 Gemini 裡搜尋解決方案時,你的部落格能夠成為大型模型優先採信與引用的權威信源,AI 反而成了替你在全網篩選同頻讀者的免費擴音器。
- 對真實人類的閱讀體驗友善:這是最核心、卻被太多站長忽視的一環。拿掉遮擋正文的彈跳視窗與狗皮膏藥式蓋版廣告,克制排版字重與配色對比度,提供順暢的多語系閱讀體驗。就算只有十分之一的讀者順著搜尋或 AI 引用點進你的網站,乾淨俐落的體驗也能讓他立刻記住你的名字與審美水準。
想通這一層,接下來的選擇就會變得異常清爽:
如果你的網站承載著商業目標,想要在 AI 時代賺到錢,那就別指望靠鎖住幾篇圖文收過路費,而是直接去做更容易變現、AI 爬走幾頁網頁也抄不走的產品與服務——例如解決具體工程痛點的 SaaS 工具、開源專案的代管加值版、深度工作流程擴充套件,或是高交付價值的顧問服務。就算未來有一天你要跟平台或客戶談商業合作與利益交換,也得先把使用者體驗、專業口碑與觸及廣度做出來,手裡才有坐上牌桌談利益的籌碼。公開內容越開放、傳播越廣,流向你核心變現產品的信任漏斗就越紮實。
而如果你的獨立部落格本質上就不是一個用來變現的產品,純粹是工作之餘記錄技術實踐、整理思考體悟的一塊自留地——那其實就更沒必要跟爬蟲纏鬥了。隨它去吧,寫出來的文字無論是被搜尋引擎收錄,還是被裝進某個大型模型的參數與檢索庫裡,只要最終能幫另一個素昧平生的讀者解決一個具體問題,這篇內容就已經圓滿完成了它的使命。
參考資料與延伸閱讀
- Kevin Kelley (Anthropic) / IETF:《Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00)》與 IETF Datatracker 官方狀態頁(2026-10-30)
- John Mueller / Google Search Central Blog:《Supporting a shared AI training control for websites》與 Google 通用爬蟲官方文件(2026-10-30)
- Krishna Madhavan / Microsoft Bing Blog:《Your content, your choice: clearer preferences for training and grounding》與 Bing Webmaster Tools 新偏好設定說明文件(2026-10-30)
- OpenAI 官方聲明:《Making it easier for websites to express AI training preferences》(2026-10-30)
- Kevin Kelley / IETF
ai-control郵件論壇:《Announcement of draft-kelley-aipref-training-preference-signal-00》(2026-10-30) - Kuldeep Paul:《Who blocks AI crawlers in 2026: a robots.txt study of 10,000 top domains》與《The AI search opt-out asymmetry》(2026-10-29)
- Matt Suffoletto / Suff Digital:《What Percentage of Websites Block AI Crawlers? (HTTP Archive 15.47M Sites)》(2026-09-24)
- João Tomé / Cloudflare Radar:《The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals》與《Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives》(2025-08)
- TollBit:《State of the Bots Report Series (Q4 2024 – H1 2026: The Bad Bots)》(2026-07-15)
- Matt G. Southern / Search Engine Journal:《Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out》(2026-11-01)與鈴木謙一《AI学習の拒否を一括設定、GoogleやOpenAIなど主要AI企業が共通シグナルに対応へ》(2026-11-02)
- Parminder Kumar Sharma (P.K. Sharma):《OpenAI to Honor Common robots.txt Signal for AI Training Preferences: What the Post Says and Does Not Establish》(2026-10-30)
- UK Government:《Report on Copyright and Artificial Intelligence》(2026-03-18)與 European Commission EU AI Act Art. 53(1)(c) & GPAI Code of Practice

