做品牌 AI 曝光的人,这两年力气主要花在两件事上:把内容写得容易被引用,把外链做够。10 月 15 日,Cloudflare 和 OpenAI 公布了合作试点的第一批结果,针对的却是更前面的一道工序——页面能不能被找到。

试点 2026 年 7 月启动,用 Cloudflare 全网约 1% 的样本,让 OpenAI 发现并收录了数亿个此前它不知道的页面。数字大小还在其次,关键是补的恰好是那类没人给外链、也排不上名次,但用户真的会问到的页面。

过去 AI 找页面,只有一条线索

传统搜索的可发现性可以简化成一句话:排到结果页前面。链接图是唯一线索——别人链到你,爬虫才走得到你。这条路对首页和博客很友好,对一份型号对得上的安装说明、一条最新营业时间就不行——有价值,但很少有人专门写文章去链它。

这次试点的思路是绕开链接图:Cloudflare 的网络夹在网站和访客之间,能看到大量真实的访问与地址行为,这些信号交给 OpenAI 的爬虫当发现线索,再由 OpenAI 独立判断每一页有没有用。公告里的例子是:对应型号的洗衣机说明书、护照办理要求与费用、餐厅当周菜单和营业时间。

对做 GEO 的人来说,优化清单得从「官网 + 品牌词 + 主稿」往下沉一层。用户问的那句话,对应的往往不是一个栏目页,而是一个具体页——参数表、型号对照、费用说明、办理流程。这类页面过去在排名报表里几乎看不见,现在多了一条被发现的路。

顺手修的两件事:少爬垃圾、知道什么时候该回来

  • 过滤:机器人会反复请求根本不存在的文件;有些站把任何地址都重定向到首页;还有些地址指向同一份内容的多个副本。识别出这些模式,就能在抓取前跳过,两边都省。
  • 变更信号:告诉爬虫这页值不值得再来一次。公告原话是,反复下载一个没变过的页面,对站长只有负载、没有收益。

两个限定条件一起读:关于页面的信号不等于访问授权,信号只说这页存在,不代表允许抓取;这套做法用的是元数据,只用于搜索与发现,不把页面内容交给模型训练,站长仍可用 AI Crawl Control 决定谁能进。

「被抓到」和「被引用」,中间还隔着一段没测的路

公告确认的是发现缺口能被补上,没有确认发现就等于分发——「索引之后有没有访问回流」被明确写成了下一阶段才测量的问题。

空白还不少:那 1% 是哪些站、数亿个新页面里有多少真出现在答案里、参与的站点有没有多访客,都没说。数字全来自两家公司自己,没有第三方复核。公告还承认了一个权衡:新页面被发现,短期内反而会推高抓取量。

所以「进了 AI 索引」现在还不能当成绩记账。索引宽度是平台侧指标,答案里能点到几个名字才是你的指标,后者并没跟着「数亿」变宽。

眼下能自己动手的三件事

  • 把具体页摆上台面:挑几个客户真会问的问题,看对应的那页在不在你的站上、能不能单独打开、是不是最新的。清单里多放说明书、参数、费用、流程类页面,比再加一篇品牌综述有用。
  • 先自查三样爬取浪费:返回 200 的空白页和软 404、把任意地址甩到首页的重定向、同一份内容挂多个地址。
  • 分两列记账:收录与索引量一列,被点名与被引用一列。两列走势经常不一致,混着看等于什么都没看。

这件事的价值,是把「被发现」从外链和排名里拆出来交给基础设施层。剩下那段——能不能被摘成一句可用的事实——平台帮不上忙,还得自己写。