术语定义
基准测试(Benchmark),中文通常称为基准测试。用固定任务、数据和评分方式比较系统能力的评测设置。
应用示例
对多个模型使用相同的问题集和判分规则进行比较。
理解要点
单一基准分数不能代表所有业务表现,需关注污染、方差和任务匹配。
基准测试(Benchmark),中文通常称为基准测试。用固定任务、数据和评分方式比较系统能力的评测设置。
对多个模型使用相同的问题集和判分规则进行比较。
单一基准分数不能代表所有业务表现,需关注污染、方差和任务匹配。
跑一轮真实检测,拿到评分和问题清单。