术语定义
蒸馏（Knowledge Distillation），中文通常称为知识蒸馏。让学生模型学习教师模型的输出、概率分布或中间表示，以迁移能力的方法。
应用示例
用大模型提供的标注训练较小的分类模型。
理解要点
学生可能学到教师的错误，且通常不能完整保留教师的所有能力。
想知道你自己的品牌被 AI 怎么评价？
跑一轮真实检测，拿到评分和问题清单。
蒸馏（Knowledge Distillation），中文通常称为知识蒸馏。让学生模型学习教师模型的输出、概率分布或中间表示，以迁移能力的方法。
用大模型提供的标注训练较小的分类模型。
学生可能学到教师的错误，且通常不能完整保留教师的所有能力。
跑一轮真实检测，拿到评分和问题清单。