---
title: "#robots.txt - AFeng Blog"
url: "https://afengblog.com/tag/robots-txt"
language: "zh-CN"
total: 1
---

# 标签：robots.txt

- [四大 AI 巨头统一 robots.txt 训练退订标准，但独立站长或许该放弃防白嫖执念了](https://afengblog.com/blog/ai-giants-unified-robots-txt-indie-web-openness.html) (2026-11-03 · 随想)：2026 年 10 月 30 日，OpenAI、Google、Microsoft 与 Anthropic 罕见同步支持基于 robots.txt 的跨厂商统一 AI 训练退订令牌 __usage_ai-training，但协议既不管实时 RAG 抽血，也挡不住高达 30% 的违规抓取与住宅代理爬虫。在传统 PC 网站流量时代早已落幕的今天，除非你在运营 linux.do 这类拥有高浓度真实活人对话的社区，否则独立站长与其死守几百行黑名单，不如让内容对搜索、AI 与人类体验全面 Open，把真正的护城河建在更容易变现的产品上。