术语定义
robots.txt（Robots Exclusion Protocol），中文通常称为爬虫访问规则文件。位于站点根路径的规则文件，用于告知遵守协议的爬虫哪些路径允许或不允许抓取。
应用示例
阻止爬虫抓取无需公开索引的重复筛选路径。
理解要点
robots.txt不是访问控制，禁止抓取也不保证网址从搜索结果中消失。
想知道你自己的品牌被 AI 怎么评价？
跑一轮真实检测，拿到评分和问题清单。
robots.txt（Robots Exclusion Protocol），中文通常称为爬虫访问规则文件。位于站点根路径的规则文件，用于告知遵守协议的爬虫哪些路径允许或不允许抓取。
阻止爬虫抓取无需公开索引的重复筛选路径。
robots.txt不是访问控制，禁止抓取也不保证网址从搜索结果中消失。
跑一轮真实检测，拿到评分和问题清单。