同一个问题问三遍，答案不一样：AI 监测的频率与取样怎么定

做 AI 可见度监测，几乎每个团队都经历过这一幕：早上问一遍，品牌在推荐名单里；下午再问同一个问题，品牌不见了。于是讨论迅速分岔，一方说「我们的内容没生效」，一方说「会不会是模型的问题」。

真实的答案是第三种：单次提问根本没有判别力。 生成式答案每次都有随机性，检索池又在实时变化，同一句话问两次得到两个结果，是正常现象，不是信号。

先解决取样：一个问题至少问三遍

有跟踪平台的数据显示，只有约三成品牌能在连续两次 AI 回答里保持一致的可见度。这条数意味着，一次提问的结果，七成情况下可能和你下一次得到的不一样。

所以第一步是把「问一次」改成「问一组」：

• 同一个问题在不同时段各问三次，记录的不是「有没有出现」，而是「三次里出现了几次」；
• 三次里出现零次是缺席，一次到两次是波动区，三次都出现才算稳定在场；
• 引用来源同样按次数记，谁被引得多，比谁被引过更有判断价值。

再解决频率：核心问题密、长尾问题疏

监测不是越多越好，采样密度要和决策挂钩。一个可用的分配方式：

同样的预算，优先加样本数、而不是加问题数：把 20 个问题各问一遍，远不如把 8 个问题各问三遍。前者给的是快照，后者给的是比例。

最后解决阈值：什么变化才算变化

没有阈值，任何波动都会被当成结论。建议在开始监测前就写清楚三条规则：

1. 同一问题：出现比例从一个区间跨到另一个区间（比如三成跳到七成）才算变化；
2. 连续判断：单周异常不动作，连续两周低于基线才启动排查；
3. 跨引擎看方向：各引擎同时下滑才认定为自身问题，只有一家动，先怀疑那一家的检索策略换了。

记录表里必须有的字段

少了「出现次数 / 总次数」这一列，三个月后的数据就没法解释；少了引用来源，你只知道结果，不知道原因。

总结：AI 监测的价值不在某一次截图，而在稳定口径下积累出来的时间序列。先把取样和频率定死，再谈优化，顺序反了就是自己骗自己。