---
title: "四大 AI 巨頭統一 robots.txt 訓練退出標準，但獨立站長或許該放下防白吃白拿的執念了"
url: "https://afengblog.com/zh-tw/blog/ai-giants-unified-robots-txt-indie-web-openness.html"
language: "zh-TW"
author: "AFeng"
published: "2026-11-03T09:25:18.149Z"
category: "隨想"
tags: ["產業觀察","LLM","robots.txt","AI 爬蟲","獨立部落格"]
reading_time: "27 分鐘閱讀"
description: "OpenAI、Google、Microsoft 與 Anthropic 罕見同步支援 IETF 草案 __usage_ai-training 統一訓練退出訊號。深入解析協定細節、Grounding 綑綁陷阱與 30% 違規爬取數據，探討後 PC 時代獨立站長為何不如全面開放並聚焦產品變現。"
---

# 四大 AI 巨頭統一 robots.txt 訓練退出標準，但獨立站長或許該放下防白吃白拿的執念了

> 2026 年 10 月 30 日，OpenAI、Google、Microsoft 與 Anthropic 罕見同步支援基於 robots.txt 的跨廠商統一 AI 訓練退出標記 __usage_ai-training，但這項協定既不管即時 RAG 擷取截流，也擋不住高達 30% 的違規爬取與住宅代理爬蟲。在傳統 PC 網站流量時代早已落幕的今天，除非你正在經營像 linux.do 這類沉澱高濃度真人互動對話的論壇社群，否則獨立站長與其死守幾百行黑名單，不如讓內容對搜尋引擎、AI 與人類閱讀體驗全面 Open，把真正的護城河建在更容易變現的產品上。

## TL;DR（重點摘要）

- 四大 AI 巨頭於 2026 年 10 月 30 日同步支援 IETF 個人草案 User-Agent: __usage_ai-training，允許用一行規則跨平台宣告退出生成式模型訓練，但萬用字元 * 絕不繼承且僅限參數修改
- 各家實作策略同床異夢，微軟自 2027 年 2 月起將訓練與 AI Grounding 徹底解耦並淘汰 NoArchive，Google 卻將其對應至 Google-Extended，退出訓練即連帶喪失 Gemini 引用曝光
- Cloudflare 與 TollBit 遙測顯示 Anthropic 平均爬取 14.7 萬次才換回 1 次點擊，AI 導流點擊率跌至 0.27%，且公開爬蟲最高 30% 無視禁令、商業代理更攻破 90% 媒體付費牆
- 後 PC 網站時代的護城河早已分化，唯有 linux.do 等沉澱高頻真人互動的論壇社群才需靠 WAF 嚴防爬蟲，一般靜態部落格鎖死內容毫無實質收益
- 獨立站長最佳解是轉向對搜尋友善、對 AI 友善與對使用者體驗友善的全面 Open，商業目標靠 AI 抄不走的產品變現，非營利個人部落格則不妨瀟灑隨它去

2026 年 10 月 30 日，Anthropic 標準技術負責人 Kevin Kelley 向網際網路工程任務組（IETF）提交了個人網際網路草案《[Machine-Readable Training Preference Signal](https://datatracker.ietf.org/doc/html/draft-kelley-aipref-training-preference-signal-00)》（文件編號 `draft-kelley-aipref-training-preference-signal-00`），定義了基於標準 `robots.txt` 的跨廠商統一 AI 訓練偏好標記 `User-Agent: __usage_ai-training`。同一天，[Google](https://developers.google.com/search/blog/2026/10/ai-training-control)、[Microsoft](https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/)、[OpenAI](https://openai.com/index/helping-websites-express-ai-training-preferences/) 與 [Anthropic](https://mailarchive.ietf.org/arch/msg/ai-control/mddjatOxSR0h6GmLRBWlc839c7w/) 四大一線模型廠商罕見地同步表態支援——表面上看，網站站長們苦熬了三年的「逐家封鎖百餘隻爬蟲打地鼠」時代，終於要被一行簡單的設定終結了。

但把草案條款、四家大廠的實作細則與第三方伺服器遙測日誌攤開對照，就會發現這份妥協遠沒有聽起來那麼慷慨。它只管修改模型權重的預訓練與後訓練，完全不管直接截留搜尋點擊的即時檢索增強（RAG / Grounding）；Google 甚至將其與 Gemini 問答引用綑綁成「二選一」；而面對高達 15% 至 30% 的公開違規爬蟲與輪換住宅代理 IP 的商業資料擷取商，一紙 `robots.txt` 連防盜紗窗都稱不上。

更值得獨立開發者和個人站長想清楚的是，在傳統 PC 網站流量時代早已落幕的今天，除非你正在經營像 `linux.do` 那樣沉澱高濃度真人對話的論壇社群，否則死守幾篇公開靜態文章既防不住無償搜刮，也換不來半毛錢實質利益。與其在幾百行黑名單裡內耗，不如徹底轉變觀念讓內容全面 Open——對搜尋引擎友善、對 AI 爬蟲友善、對人類閱讀體驗友善，把真正的護城河建在更容易變現的產品上；如果這個網站本來就不為變現，那就瀟灑隨它去。

## 一行設定管四家，IETF 新草案到底規範了什麼

要理解為什麼四大 AI 巨頭會在 2026 年 10 月底突然握手言和，先看看先前的 `robots.txt` 黑名單已經荒謬到了什麼地步。

就在四巨頭正式宣布前一天（2026 年 10 月 29 日），獨立研究者 Kuldeep Paul 發布了針對 Tranco 全球排名前 10,000 大高流量網域中 **5,701 份有效 `robots.txt`** 與 **197 隻已知 AI 爬蟲**（45 隻官方公開 + 152 隻社群追蹤）的[深度稽核報告](https://kuldeep.cc/writing/who-blocks-ai-crawlers-robots-txt-study)。結合 Suff Digital 基於 HTTP Archive **1,547 萬個網站**的[全網掃描資料](https://www.suffdigital.com/resources/data-studies/ai-crawler-blocking-rate)（全網 9.9%、CrUX 前 1,000 大熱門網站中有 28.9% 封鎖了至少 1 隻 AI 爬蟲），過去三年「依廠商逐家封鎖」的模式已經出現系統性失靈：

1. **半數網站陷入「篩子式封鎖」**：在明確封鎖 OpenAI `GPTBot` 的 **810 個**指標性網站裡，整整 **50.0%（405 個網站）**漏擋了至少 1 隻其他主流大型模型訓練爬蟲——其中 **79.5%** 未封鎖 `cohere-training-data-crawler`，**75.3%** 未封鎖 `MistralAI-Training`，**37.0%** 未封鎖 `Amazonbot`，**35.1%** 未封鎖 `Applebot-Extended`，**34.1%** 未封鎖 `Meta-ExternalAgent`，**27.3%** 未封鎖 `Google-Extended`，**23.3%** 未封鎖 `Bytespider`，**18.8%** 未封鎖 `ClaudeBot`。全樣本中僅有 **6.0%（344 個網站）**完整封堵了全部 8 家主流訓練爬蟲。
2. **三分之二殘留「殭屍標記」**：在封鎖 3 隻以上 AI 爬蟲的 1,037 個網站中，多達 **66.2%（687 個）**至今仍在規則裡寫入 Anthropic 早已淘汰的 `anthropic-ai` 或 `Claude-Web` 舊標記；更有 **51 個大型網站**（包含 `espn.com` 與 `abcnews.com`）只封了淘汰舊名卻漏掉現行的 `ClaudeBot`，形同虛設。
3. **規則膨脹與標準難產**：為了防漏，不少網站被迫維護冗長的複製貼上清單，單一網站最高甚至封鎖了 **192 隻 AI 爬蟲**（`brand-catcher.com`）。而 IETF 於 2025 年 1 月成立 [`aipref` 工作小組](https://datatracker.ietf.org/wg/aipref/about/)後原本推動的綁定草案 [`draft-ietf-aipref-attach-05`](https://github.com/ietf-wg-aipref/drafts/blob/main/draft-ietf-aipref-attach.md)，由於試圖在 `robots.txt` 中新增 `Content-Usage: train-ai=n` 指令行——既要修改全球既有 [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309) 解析器語法，又在即時 RAG 權限劃分上爭執不下，最終陷入僵局。

![IETF Datatracker 系統中 Machine-Readable Training Preference Signal 草案官方歸檔頁面截圖，顯示作者 Kevin Kelley、更新日期 2026-10-30 以及未獲 IETF 正式背書的個人草案提示框](https://afengblog.com/uploads/2026/11/079595d5297ab2792dfc069c.webp "圖 1 · IETF Datatracker 官方狀態頁顯示 draft-kelley-aipref-training-preference-signal-00 目前屬於效期至 2027 年 5 月 3 日的個人網際網路草案（圖片來源：IETF Datatracker / ITmedia NEWS）")

正是在工作小組原方案擱淺的背景下，Anthropic 的 Kevin Kelley 繞開新語法之爭，交出了這份效期至 2027 年 5 月 3 日的個人草案，並獲得四大廠商同步背書：

> "This document describes how a service operator binds usage preferences (e.g., 'no AI training') to paths by writing ordinary robots.txt groups keyed by a per-purpose policy token in the User-Agent line. It introduces no new directive names and no new grammar: the path language, longest-match precedence, and group structure of robots.txt are not changed."
> （本文件說明服務營運者如何透過在 User-Agent 行中，以依用途劃分的政策標記作為索引鍵來撰寫一般 robots.txt 規則群組，進而將使用偏好綁定至特定路徑。此機制不引入新的指令名稱，也不引入新的語法：robots.txt 的路徑語法、最長比對優先順序與群組結構均維持不變。）

依照草案規範，若站長希望禁止全站內容用於生成式 AI 模型訓練，僅對 `/press-kit/` 媒體資料目錄放行，只需在 `robots.txt` 中寫入：

```text
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
```

![呈現 Tranco 全球前 10,000 大網站中 810 個封鎖 GPTBot 的網站漏擋其他主流訓練爬蟲比例，以及 197 隻已知爬蟲、僅 6.0% 完整封鎖與 66.2% 殭屍標記三大痛點的數據資訊圖表](https://afengblog.com/uploads/2026/11/71aa3eb095415a5e1d98c14a.webp "圖 2 · Tranco Top 10,000 網站 robots.txt 實證掃描，半數封鎖 GPTBot 的大型網站仍對其他訓練爬蟲敞開大門，66.2% 殘留已失效的舊標記（資料來源：Kuldeep Paul，2026-10-29）")

這幾行看似直白的設定背後，藏著四條必須看清的技術邊界：

* **雙底線（`__`）防碰撞設計**：正如日本 SEO 專家鈴木謙一在[技術剖析](https://www.suzukikenichi.com/blog/one-setting-to-opt-out-of-ai-training-google-openai-and-other-major-ai-companies-to-support-a-shared-signal/)中所指出的，`__usage_ai-training` 完全符合 RFC 9309 的字元集，開頭刻意加上雙底線 `__`，是為了防止部分實作過於寬鬆（如執行子字串模糊比對）的舊版解析器將其與真實爬蟲名稱誤判比對。未支援該標準的傳統搜尋爬蟲會將其視為未知爬蟲直接略過，確保既有搜尋收錄零影響。
* **萬用字元 `User-Agent: *` 絕不繼承**：草案第 4.2 節寫下了硬性禁令——`User-Agent: *` 規則群組**絕不能（MUST NOT）**被解讀為比對 `__usage_ai-training`。就算你的網站寫了全域 `User-Agent: *` + `Disallow: /`，只要沒有明確寫出 `__usage_ai-training`，在此機制下就等同於 `unknown`（未表達退出訓練意願）。
* **僅限「生成式模型參數修改」，非生成式任務豁免**：草案直接引用詞彙表 [`draft-ietf-aipref-vocab-08`](https://github.com/ietf-wg-aipref/drafts/blob/main/draft-ietf-aipref-vocab.md) 的定義，只約束「修改生成式 AI 模型習得參數」的行為；若模型僅用於分類、排序或垃圾內容評分（就算順帶輸出文字理由），其訓練完全不受此限。
* **不阻斷抓取、不溯及既往、商業合約優先**：`__usage_ai-training` 不會出現在 HTTP 請求標頭裡，也不禁止爬蟲把網頁抓回本地端；它只對抓取當下生效，**不要求廠商刪除先前已收錄的資料或還原已訓練好的模型權重**；且平台與網站之間的私下商業合約可以直接覆蓋 `robots.txt` 宣告。

## 四大巨頭同床異夢，過渡期設定與綑綁陷阱

促成四大巨頭在同一天集體表態的直接推手，其實是歐美監管高懸的達摩克利斯之劍。

一方面，歐盟《人工智慧法案》（EU AI Act）第 53(1)(c) 條及配套《[通用 AI（GPAI）實踐準則](https://digital-strategy.ec.europa.eu/en/faqs/stakeholder-consultation-ai-and-copyright-compliance)》強制要求模型供應商支援透過 IETF 制定的跨產業統一 `robots.txt` 控制標準，Google 在官方公告裡直接點名新提案是為了對齊歐盟準則。另一方面，英國政府於 2026 年 3 月 18 日向國會提交的《[版權與人工智慧報告](https://www.gov.uk/government/publications/report-and-impact-assessment-on-copyright-and-artificial-intelligence/report-on-copyright-and-artificial-intelligence)》中揭露，在 11,500 餘份公眾諮詢意見回饋裡，高達 **88%** 的受訪者要求強制事前授權（Opt-in），僅 **3%** 贊成機器可讀退出機制（Opt-out），迫使英國政府正式放棄推出法定 TDM 退出例外條款。為了證明「產業自願性技術標準足以解決問題、無需更嚴厲的事前許可立法」，四巨頭火速推出了這套統一訊號。

但只要細讀四家公司的官方細則，就會發現同一行 `User-Agent: __usage_ai-training` 在各家後台觸發的真實後果截然不同：

![對比 Microsoft Bing、Google、OpenAI 與 Anthropic 四家廠商對 __usage_ai-training 的生效時程、既有爬蟲體系及 AI 引用 Grounding 綑綁策略差異的四宮格資訊圖表](https://afengblog.com/uploads/2026/11/daaddc4a21dd8511f82829f1.webp "圖 3 · 四大巨頭實作細則橫向評比，微軟將模型訓練與 AI 回答引用徹底拆開，Google 則將退出訊號對應至 Google-Extended，連帶封殺網站在 Gemini Apps 中的曝光機會")

| 參與廠商 | 預計生效時間 | 既有專有爬蟲與控制標記 | 對 AI 搜尋 / Grounding 引用的連帶影響 | 關鍵注意事項與陷阱 |
| :--- | :--- | :--- | :--- | :--- |
| **Microsoft（Bing）** | **2027-02-01** | `Bingbot`、頁面級 `ai-training` 與 `ai-grounding` | **完全解耦**，退出訓練預設仍允許 Copilot 與 Bing AI 引用並導流 | **2027-03-01** 正式淘汰 `NoArchive` / `NoCache` 的 AI 退出語意，逾期未遷移將回復為 `Allow` |
| **Google** | **2027 年初** | `Googlebot`、`Google-Extended`（專有標記優先順序較高） | **強制綑綁 Gemini Apps**，退出訓練即喪失 Gemini 回答 Grounding 引用與點擊 | Google 搜尋本體的 AI Overviews 與 AI Mode 綁死在 `Googlebot` 上，不受此訊號約束 |
| **OpenAI** | **未來幾個月內** | `GPTBot`（訓練）、`OAI-SearchBot`（搜尋）、`ChatGPT-User` | 搜尋呈現由 `OAI-SearchBot` 獨立控制，理論上不連帶封鎖 | 公告將範圍限定為「基礎生成式 AI 訓練」，與 `GPTBot` 衝突時的優先順序尚未公布 |
| **Anthropic** | **開發中（未定）** | `ClaudeBot`（訓練）、`Claude-SearchBot`、`Claude-User` | 作為現有爬蟲體系的補充，搜尋爬蟲獨立劃分 | Kevin Kelley 坦言跨服務邊界案例複雜，上線仍需時日 |

這裡反差最強烈的是 **Microsoft 與 Google 截然相反的產品誠意**。

微軟 Bing 首席產品經理 Krishna Madhavan 在官方部落格中明確承諾「出版商不應被迫在能夠於 Bing 中被發掘，以及決定生成式模型如何使用其作品之間做出選擇」，不僅將 `AI Training` 與頁面級 `AI Grounding` 徹底拆成兩個獨立開關，還新增了一個極具針對性的 `DisallowExtended` 層級——允許內容出現在 Bing AI、Copilot 與 Microsoft 365 自家回答裡換取引用曝光，但**禁止微軟透過 Web IQ 或 Azure Foundry API 把你的內容轉售給第三方商業客戶**。唯一需要留意的是，依賴舊版 `NoArchive` / `NoCache` 標籤防堵 AI 的既有網站，必須在 [Bing Webmaster Tools](https://www.bing.com/webmasters/help/new-ai-pref-2t1cc16d) 於 2026 年 12 月 15 日開放的過渡設定面板（效期至 2027 年 9 月 30 日）或 2027 年 3 月 1 日大限前完成遷移。

反觀 Google，搜尋倡議者 John Mueller 給出的對應規則堪稱精明的「二選一綑綁」：

> "When a website uses this policy token to opt out of training in its robots.txt file (and Google-Extended is not explicitly specified), Google plans to interpret that as if the publisher had disallowed Google-Extended... Websites that specifically allow Google-Extended are eligible to appear in responses and receive clicks via grounding in Gemini Apps."
> （當網站於其 robots.txt 檔案中使用此政策標記退出訓練，且未明確指定 Google-Extended 時，Google 預計將其視為出版商已封鎖 Google-Extended……唯有明確允許 Google-Extended 的網站，才有資格透過 Grounding 機制出現在 Gemini Apps 的回答中並獲得點擊。）

正如《[Search Engine Journal](https://www.searchenginejournal.com/google-microsoft-openai-shared-ai-training-opt-out/595387/)》資深編輯 Matt G. Southern 所批評的，由於 [`Google-Extended`](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) 把「訓練下一代 Gemini 模型」與「Gemini Apps 即時 Grounding 引用」綁在同一條繩子上，站長只要寫了 `__usage_ai-training` 退出訓練，就會自動痛失 Gemini Apps 的回答引用；而如果你為了保住 Gemini 引用去寫 `Google-Extended: Allow`，根據專有標記優先規則，你的內容又會重新被拿去餵養 Gemini 模型。至於流量規模更大的 Google 搜尋 **AI Overviews**（月活躍用戶 25 億）與 **AI Mode**（月活躍用戶逾 10 億），則直接綁死在傳統主力爬蟲 `Googlebot` 身上——Kuldeep Paul 的[退出不對稱性研究](https://kuldeep.cc/writing/ai-search-opt-out-asymmetry)證實，在封鎖 `Google-Extended` 的 667 個大型網站裡，**99.85%（666 個）**根本不敢動 `Googlebot` 分毫。

再加上 Meta 傳播主管僅在社群平台口頭稱讚該標準是「重要一步」卻拒絕承諾遵守（甚至在 2026 年 10 月試圖透過修改商業服務條款，強迫使用 Facebook/Instagram 工具的媒體授權爬取外部網站，引發 [WAN-IFRA 等全球出版商協會聯合抗議](https://wan-ifra.org/2026/10/worlds-news-publishers-call-on-meta-to-halt-scraping-clause-in-new-commercial-terms/)後才將生效期延後至 11 月 20 日），以及 Apple、ByteDance、Perplexity 與中國大型模型廠商尚未跟進，**若站長現階段確實想在規則層面拒絕訓練、保留搜尋引用**，2026 至 2027 過渡期絕不能刪除既有爬蟲名稱，標準設定應當是「新通用訊號 + 未生效期四巨頭訓練標記 + 未加入協定廠商標記」並存：

```text
# 1. 跨廠商統一 AI 訓練退出訊號（2026 年底至 2027 年初陸續生效）
User-Agent: __usage_ai-training
Disallow: /

# 2. 過渡期保留四大巨頭獨立訓練標記（放行 OAI-SearchBot / Claude-SearchBot 保留搜尋引用）
User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /

# 3. 尚未承諾支援統一訊號的其他主流訓練與資料擷取爬蟲
User-Agent: CCBot
User-Agent: Bytespider
User-Agent: Meta-ExternalAgent
User-Agent: Applebot-Extended
User-Agent: Amazonbot
User-Agent: cohere-training-data-crawler
User-Agent: MistralAI-Training
Disallow: /
```

## 算清流量帳與攻防帳，一紙君子協定鎖不住內容

把上面這段嚴絲合縫的 `robots.txt` 部署上線之後，你的原創心血就真的免遭「白吃白拿」了嗎？只要算清流量與攻防這兩筆硬帳，答案其實很殘酷。

![左右雙欄對比呈現各大模型平台懸殊的爬取與點擊導流比（Anthropic 高達 147,755 比 1，AI 導流占比僅 0.04% 至 0.16%）與 15% 至 30% 違規爬取、90% 付費牆遭住宅代理攻破及日誌零可觀測性的資訊圖表](https://afengblog.com/uploads/2026/11/abd3912c0c9b7c7466157cff.webp "圖 4 · 流量與攻防雙重殘酷現實，大型模型爬十萬次才施捨一次點擊，而違規爬蟲與商業代理早已繞過 robots.txt 君子協定（資料來源：Cloudflare Radar & TollBit）")

先算第一筆**「只吃不吐」的流量帳**，這也是絕大多數內容創作者本能反感大廠白吃白拿的根源。

根據 [Cloudflare Radar](https://blog.cloudflare.com/crawlers-click-ai-bots-training/) 橫跨 12 個月的全球遙測與[流量用途拆解報告](https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/)，全網 AI 爬蟲請求中高達 **80%** 用於餵養模型訓練，僅 **18%** 用於 AI 搜尋索引，**2% 至 3.2%** 用於使用者觸發存取。每向原網站送回區區 **1 次真實人類點擊**，Anthropic 平均要抓取網頁 **147,754.7 次**（2025 年 1 月峰值甚至達到驚人的 286,930.1:1），OpenAI 平均抓取 **1,437.8 次**，Perplexity 抓取 **172.4 次**，Microsoft 抓取 **42.3 次**，Google 抓取 **11.8 次**。

[TollBit](https://tollbit.com/state-of-the-bots/) 對全球出版商第一方伺服器日誌的追蹤更直觀地印證了這種失衡：網站上「AI 爬蟲造訪 : 人類造訪」的密度從 2025 年第一季的 **1:200** 飆升至第四季的 **1:31**（2026 年上半年歐洲網站達 **1:33**），然而 AI 平台帶來的外部導流流量加總僅占總外部導流的 **0.04% 至 0.16%**；AI 導流平均點擊率（CTR）在半年內從 **0.80%** 暴跌至 **0.27%**，比傳統 Google 自然搜尋 8.6% 的平均點擊率低了將近 **96%**（即便是 Google AI Overviews，點擊率也僅有約 0.9%，見 [Search Engine Roundtable](https://www.seroundtable.com/google-ai-training-control-42430.html)）。

更關鍵的是，BBC 代表 Chris Needham 在 [IETF 工作小組 Issue #172](https://github.com/ietf-wg-aipref/drafts/issues/172) 中一針見血地指出，真正抽乾原創網站的點擊量的是即時 RAG 與問答摘要，而 `__usage_ai-training` 對此完全不管；Adobe 與 Mozilla 工程師在 [Issue #246](https://github.com/ietf-wg-aipref/drafts/issues/246) 與 [Issue #254](https://github.com/ietf-wg-aipref/drafts/issues/254) 中也警告，把網頁切成向量嵌入（Embeddings）快取，或是藉 AI Agent「使用者觸發」之名代讀，都成了規避訓練退出的「偏好黑洞」。同時，與內建計費協定的 [RSL 1.0](https://rslstandard.org/rsl)、歐盟 [W3C TDMRep](https://www.w3.org/community/reports/tdmrep/CG-FINAL-tdmrep-20240510/)，或是 Cloudflare 推出的 [HTTP 402 Pay Per Crawl 按次爬取付費](https://blog.cloudflare.com/introducing-pay-per-crawl/)及涵蓋逾 380 萬個網域的 [Content Signals 政策](https://blog.cloudflare.com/content-signals-policy/)（[自 2026 年 9 月 15 日起](https://blog.cloudflare.com/content-independence-day-ai-options/)已預設替新接入的廣告網站於邊緣節點攔截訓練爬蟲）不同，四巨頭推行的 `__usage_ai-training` 純粹是無償的二元開關，不產生半毛錢版權收益。

再算第二筆**「防君子不防小人」的攻防帳**。

* **高達三成的公開違抗**：TollBit 日誌稽核顯示，亮明身分的 AI 爬蟲直接無視 `robots.txt` `Disallow` 強行抓取的違規比例，從 2024 年底的 **3.3%** 一路飆升至 2025 年底的 **30%**（2026 年上半年歐洲網站仍高達 **15%**）。
* **隱身代理與商業轉售橫行**：早在 2025 年 8 月，[Cloudflare 資安團隊便透過數位鑑識證實](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/)，當網站用 `robots.txt` 與防火牆封鎖 `PerplexityBot` 後，對方會切換至偽裝成 macOS Chrome 瀏覽器的隱身爬蟲並輪換住宅代理 IP 繞過封鎖。TollBit 在 2026 年上半年的金絲雀測試更發現，向 AI 實驗室轉售語料的 14 至 15 家商業資料擷取平台，在單次請求中輪換 **32 至 43 個住宅代理 IP** 並偽造 `Googlebot` 身分，成功攻破了 30 家受測英美主流媒體中 **27 家（90.0%）**的硬性付費牆，轉手以最高 22.50 美元/千頁的價格賣給大型模型團隊。
* **後台訓練零可觀測性**：資安與治理分析師 P.K. Sharma 在[分析簡報](https://www.pk-sharma.com/briefing/openai-honor-common-robots-txt-signal-for-ai-training-preferences-what-the-post-says-and-does-not-establish)裡點破了最後一層窗戶紙：

> "A 'signal' that a provider will 'honor' sounds like a lock. The documents say otherwise. The vocabulary draft states that preferences are 'not a security mechanism'... A training preference attached to content that was fetched for another purpose leaves no such trace in a site's logs. Whether the training use of a page happened under one crawl or another is something only the operator can say."
> （供應商承諾「遵守」的「訊號」聽起來像是一把鎖，但文件內容並非如此。詞彙表草案明確指出，偏好設定「不是一種安全機制」……附加在因其他目的而抓取的內容上的訓練偏好，不會在網站日誌裡留下任何痕跡。某個頁面的訓練用途究竟發生在哪一次抓取過程，只有模型營運方自己心知肚明。）

當 `Googlebot`、`Bingbot` 或 `OAI-SearchBot` 合法抓走你的網頁用於搜尋後，這份 HTML 在大廠內網有沒有流進後訓練或合成資料管線，獨立站長從自己的 Nginx 日誌裡連一絲痕跡都查不到。

## 後 PC 時代的護城河分野，誰該嚴防死守，誰該徹底放手

聊完協定細節與殘酷數據，我想跳脫技術參數，談談自己身為獨立開發者與部落格站長的真實想法。

站在創作者的立場上，不想被大廠無償揩油是再正當不過的本能。辛辛苦苦追查好幾天 Bug、實測整理出來的深度長文，大廠連聲招呼都不打就拿去餵養百億參數的商業模型，既不付費，連幾個導流點擊都吝嗇給，換作是誰心裡都會覺得憋屈。這也是為什麼每逢新的防爬標準出爐，站長圈總會掀起一波抄設定熱潮。

但冷靜下來換個角度想，**就算我們把 `robots.txt` 設得滴水不漏，徹底不讓 AI 訓練甚至不讓 AI 引用，又能改變什麼呢？**

我們必須承認一個已經發生的結構性事實：**傳統 PC 網站的時代，基本上已經結束了。**

過去二十年裡，獨立站長習以為常的那套「寫文章 → 等搜尋引擎收錄排上首頁 → 讀者點進 PC 網頁閱讀 → 靠 AdSense 展示廣告或聯盟行銷連結變現」的流量變現循環，不管你防不防 AI 爬蟲，都已經不可逆地萎縮了。使用者獲取資訊的入口早已從「打開十個藍色連結逐頁比對」，轉移到了對話視窗、行動端推播與 AI 代理工作流程裡。把自家部落格的大門焊死，並不會讓已經消失的 PC 時代傳統搜尋流量重新回到你的網站上，只會讓你在新的資訊分發網路裡徹底隱形。

![左右對照剖析後 PC 時代網站護城河分水嶺的架構圖，左側為 linux.do 等擁有高頻真人對話核心資產、需靠 WAF 嚴防死守的社群論壇，右側為不必死守靜態文章的絕大多數獨立部落格與一般網站](https://afengblog.com/uploads/2026/11/186370d2ecf76926747d590e.webp "圖 5 · 認清網站的真實護城河邊界，唯有承載鮮活真人互動生態的論壇社群才需要重兵防爬，一般靜態內容網站死守黑名單毫無商業回報")

在我看來，今天到底要不要防爬蟲，核心取決於你的網站屬於哪一種物種：

**極少數真正需要嚴防死守爬蟲的，是像 `linux.do`、Reddit 這類沉澱著高濃度「真實活人資料」的論壇與社群。** 在 AI 生成廢話氾濫成災的年代，成千上萬真實開發者每天高頻發文、即時互助、打趣閒聊、分享第一手實戰踩坑與資源所形成的鮮活對話與社群氛圍，是全網最稀缺的數位資產，也是這類論壇真正的立身護城河。如果不加防範，任由各路爬蟲高並行掃蕩，不僅核心社群壁壘會被瞬間抽空，源站資料庫與頻寬也會被直接打穿。而且你會發現，這類社群防爬蟲從來不會天真地指望一行 `robots.txt`，而是直接上 Cloudflare 高強度五秒盾、WAF 行為質詢、登入狀態與等級閱讀門檻——因為人家守的是真金白銀的活人生態。

**但對於絕大多數獨立部落格、個人技術文件站與中長尾網站而言，幾篇公開的靜態文章本身並不是靠「藏著不讓 AI 看」就能保值的護城河。** 既然技術上防不勝防（防住了守規矩的大廠訓練爬蟲，防不住掛著住宅代理的資料掮客與單次抓取重複利用），商業上鎖死了也帶不來任何真實收益，那我們最該更新的其實不是 `robots.txt`，而是自己的觀念。

## 內容全面 Open，把體驗做透，把變現交給真正的產品

既然防不勝防、防了也無利可圖，獨立站長更聰明的活法反而是徹底反過來——**放下防白吃白拿的執念，讓內容全面 Open，去打磨真正容易變現的產品。**

![呈現獨立站長以對搜尋引擎友善 SEO、對 AI 爬蟲友善 GEO、對使用者體驗友善 UX 三大支柱打造全面開放底座，進而分流至商業產品變現與非營利個人部落格瀟灑心態的策略路線圖](https://afengblog.com/uploads/2026/11/821b24240c2abd2def14cac6.webp "圖 6 · 後 PC 時代的獨立站長破局法則，用搜尋、AI 與人類體驗的三重開放累積信任籌碼，商業回報交給真正的產品，純粹分享則坦然隨它去")

我所說的「內容全面 Open」，並不是擺爛不管網站品質，而是把原本浪費在折騰防爬黑名單上的精力，全部收回來投入到**「三個友善」**上：

1. **對搜尋引擎友善（SEO 最佳化）**：把語意化 HTML 結構、清晰的 URL 層級、精準的標題摘要中繼資料（Metadata）與頁面首屏載入回應速度做到位，讓傳統搜尋引擎依然能毫無阻礙地抓取並理解你的內容。
2. **對 AI 爬蟲與問答引擎友善（GEO 最佳化）**：坦然拆掉那些綁手綁腳的爬蟲封鎖，寫出結論先行、論據紮實、程式碼區塊可重現、結構層次分明的文章。當同行在 ChatGPT、Claude、Copilot 或 Gemini 裡搜尋解決方案時，你的部落格能夠成為大型模型優先採信與引用的權威信源，AI 反而成了替你在全網篩選同頻讀者的免費擴音器。
3. **對真實人類的閱讀體驗友善**：這是最核心、卻被太多站長忽視的一環。拿掉遮擋正文的彈跳視窗與狗皮膏藥式蓋版廣告，克制排版字重與配色對比度，提供順暢的多語系閱讀體驗。就算只有十分之一的讀者順著搜尋或 AI 引用點進你的網站，乾淨俐落的體驗也能讓他立刻記住你的名字與審美水準。

想通這一層，接下來的選擇就會變得異常清爽：

**如果你的網站承載著商業目標**，想要在 AI 時代賺到錢，那就別指望靠鎖住幾篇圖文收過路費，而是直接去做**更容易變現、AI 爬走幾頁網頁也抄不走的產品與服務**——例如解決具體工程痛點的 SaaS 工具、開源專案的代管加值版、深度工作流程擴充套件，或是高交付價值的顧問服務。就算未來有一天你要跟平台或客戶談商業合作與利益交換，也得先把使用者體驗、專業口碑與觸及廣度做出來，手裡才有坐上牌桌談利益的籌碼。公開內容越開放、傳播越廣，流向你核心變現產品的信任漏斗就越紮實。

**而如果你的獨立部落格本質上就不是一個用來變現的產品**，純粹是工作之餘記錄技術實踐、整理思考體悟的一塊自留地——那其實就更沒必要跟爬蟲纏鬥了。隨它去吧，寫出來的文字無論是被搜尋引擎收錄，還是被裝進某個大型模型的參數與檢索庫裡，只要最終能幫另一個素昧平生的讀者解決一個具體問題，這篇內容就已經圓滿完成了它的使命。

## 參考資料與延伸閱讀

1. Kevin Kelley (Anthropic) / IETF：《[Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00)](https://datatracker.ietf.org/doc/html/draft-kelley-aipref-training-preference-signal-00)》與 [IETF Datatracker 官方狀態頁](https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/)（2026-10-30）
2. John Mueller / Google Search Central Blog：《[Supporting a shared AI training control for websites](https://developers.google.com/search/blog/2026/10/ai-training-control)》與 [Google 通用爬蟲官方文件](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)（2026-10-30）
3. Krishna Madhavan / Microsoft Bing Blog：《[Your content, your choice: clearer preferences for training and grounding](https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/)》與 [Bing Webmaster Tools 新偏好設定說明文件](https://www.bing.com/webmasters/help/new-ai-pref-2t1cc16d)（2026-10-30）
4. OpenAI 官方聲明：《[Making it easier for websites to express AI training preferences](https://openai.com/index/helping-websites-express-ai-training-preferences/)》（2026-10-30）
5. Kevin Kelley / IETF `ai-control` 郵件論壇：《[Announcement of draft-kelley-aipref-training-preference-signal-00](https://mailarchive.ietf.org/arch/msg/ai-control/mddjatOxSR0h6GmLRBWlc839c7w/)》（2026-10-30）
6. Kuldeep Paul：《[Who blocks AI crawlers in 2026: a robots.txt study of 10,000 top domains](https://kuldeep.cc/writing/who-blocks-ai-crawlers-robots-txt-study)》與《[The AI search opt-out asymmetry](https://kuldeep.cc/writing/ai-search-opt-out-asymmetry)》（2026-10-29）
7. Matt Suffoletto / Suff Digital：《[What Percentage of Websites Block AI Crawlers? (HTTP Archive 15.47M Sites)](https://www.suffdigital.com/resources/data-studies/ai-crawler-blocking-rate)》（2026-09-24）
8. João Tomé / Cloudflare Radar：《[The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals](https://blog.cloudflare.com/crawlers-click-ai-bots-training/)》與《[Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/)》（2025-08）
9. TollBit：《[State of the Bots Report Series (Q4 2024 – H1 2026: The Bad Bots)](https://tollbit.com/state-of-the-bots/)》（2026-07-15）
10. Matt G. Southern / Search Engine Journal：《[Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out](https://www.searchenginejournal.com/google-microsoft-openai-shared-ai-training-opt-out/595387/)》（2026-11-01）與鈴木謙一《[AI学習の拒否を一括設定、GoogleやOpenAIなど主要AI企業が共通シグナルに対応へ](https://www.suzukikenichi.com/blog/one-setting-to-opt-out-of-ai-training-google-openai-and-other-major-ai-companies-to-support-a-shared-signal/)》（2026-11-02）
11. Parminder Kumar Sharma (P.K. Sharma)：《[OpenAI to Honor Common robots.txt Signal for AI Training Preferences: What the Post Says and Does Not Establish](https://www.pk-sharma.com/briefing/openai-honor-common-robots-txt-signal-for-ai-training-preferences-what-the-post-says-and-does-not-establish)》（2026-10-30）
12. UK Government：《[Report on Copyright and Artificial Intelligence](https://www.gov.uk/government/publications/report-and-impact-assessment-on-copyright-and-artificial-intelligence/report-on-copyright-and-artificial-intelligence)》（2026-03-18）與 European Commission [EU AI Act Art. 53(1)(c) & GPAI Code of Practice](https://digital-strategy.ec.europa.eu/en/faqs/stakeholder-consultation-ai-and-copyright-compliance)

標籤：[產業觀察](https://afengblog.com/zh-tw/tag/industry-insights)、[LLM](https://afengblog.com/zh-tw/tag/llm)、[robots.txt](https://afengblog.com/zh-tw/tag/robots-txt)、[AI 爬蟲](https://afengblog.com/zh-tw/tag/ai-crawler)、[獨立部落格](https://afengblog.com/zh-tw/tag/indie-blog)

---

原文：https://afengblog.com/zh-tw/blog/ai-giants-unified-robots-txt-indie-web-openness.html

其他公開頁面亦可在 URL 後加上 `.md` 取得 Markdown 版本；網站索引： https://afengblog.com/zh-tw/llms.txt