前几个月,站长面对 AI 爬虫基本只有两个选择:要么放它进来,免费当它的语料;要么把门关上——但关门的代价已经有人算过了,屏蔽 AI 检索的网站,传统搜索排名掉了 4.3%。最近,圈子里开始流传第三条路:不拦你,也不白给,进门先掏钱。9 月 26 日前后的几份行业周报里,x402 和 ai.txt 这两个方案被同时点名,方向都一样:让网站可以给内容标价,向 AI 收费。
两套方案:一个管收钱,一个管报价
x402 复活了 HTTP 协议里躺了几十年的 402 状态码(Payment Required)。流程很简单:AI 爬虫请求页面,服务器回一句「这页要钱」,附上价格和支付条件;爬虫带上支付凭证重新请求,才能拿到内容。按次结算,单笔可以小到几厘钱。它背后是 Coinbase 和 Cloudflare 在推,Cloudflare 自家的 pay-per-crawl 测试就在用这套逻辑。
ai.txt 更轻:在你的网站上放一个文本文件,写清楚访问条款和价格,谁来抓就按这个来,交易撮合交给第三方市场。两个方案有个共同点——都不碰 robots.txt,不改页面代码,全部在服务器层完成,开发和运维的事,不是编辑的事。
为什么是现在
- 机器流量反超了。Cloudflare 的口径是,自动化流量已经超过人类流量,按其 CEO 的预估,五年内两者会拉开几个数量级的差距。
- 广告模式对机器失效。爬虫不点广告,广告养网站的整套商业模式,对这批新访客完全无效。内容没有别的变现出口,就只能谈付费。
- 平台方先认了账。Google 已经开始为「内容被 AI 用上」付钱,OpenAI 也与多家出版方签了内容授权。前提——内容有价——已经被承认,剩下的是「由谁定价」。
- 不是单家试验。同场竞争的支付协议至少有三套:Coinbase 的 x402、Lightning Labs 的 L402、Stripe 的 MPP。多家押注同一个方向,说明这不是概念玩具。
对做 GEO 的人,先想清楚三件事
- 信源可能分层。一旦付费内容成了 AI 的优先信源,「公开网页」就不再是完整的监测面。你测出来的引用格局,可能漏掉了整个付费层。
- 定价即定位。给 AI 标价本身就是个筛选:什么样的内容值得收费?大概率是你独有的一手数据和调研。这和之前聊过的「AI 最爱引别处没有的数」是同一条逻辑——收费只是给它标个价签。
- 不必现在动手。两个方案都还在早期,谁赢没有定论,现在折腾服务器没有任何必要。但值得留个意识:将来「允许谁读、按什么价读」,可能会变成和 robots.txt 一样常规的网站配置。
屏蔽、开放、收费——网站对 AI 的态度,正在从二选一变成三选一。这条路短期离大多数站还很远,但它指的方向很明确:内容对机器是有价格的。而 GEO 做到最后,本来就是让你的内容,贵得有道理。