---
title: "#AI 爬蟲 - AFeng Blog"
url: "https://afengblog.com/zh-hk/tag/ai-crawler"
language: "zh-HK"
total: 1
---

# 標籤：AI 爬蟲

- [四大 AI 巨頭統一 robots.txt 訓練退訂標準，但獨立站長或許該放下防白拿執念了](https://afengblog.com/zh-hk/blog/ai-giants-unified-robots-txt-indie-web-openness.html) (2026-11-03 · 隨想)：2026 年 10 月 30 日，OpenAI、Google、Microsoft 與 Anthropic 罕見同步表態支援基於 robots.txt 的跨廠商統一 AI 訓練退訂令牌 __usage_ai-training，惟協議既不管即時 RAG 抽乾點擊，亦擋不住高達 30% 的違規抓取與住宅代理爬蟲。在傳統 PC 網站流量時代早已落幕的今天，除非你在營運 linux.do 這類沉澱高濃度真實活人對話的社群，否則獨立網誌站長與其死守幾百行黑名單，不如讓內容對搜尋、AI 與人類體驗全面 Open，將真正的護城河建在更容易變現的產品上。