Encyclopedia
GEO百科
从 GEO、LLM 到 Agent、Prompt，每个词条讲清一个概念。通过定义、应用示例和概念辨析，建立 AI 与生成式引擎优化的知识体系。
词条列表
训练与优化
批大小
一次计算或一次参数更新所使用的样例数量，具体含义需区分微批与有效批大小。
训练与优化
蒸馏
让学生模型学习教师模型的输出、概率分布或中间表示，以迁移能力的方法。
训练与优化
DPO
利用偏好成对数据直接优化模型，使其相对更倾向于被偏好的输出的一种方法。
训练与优化
Epoch
对训练数据完整遍历一次的计数单位，常用于描述训练进度。
训练与优化
微调
在已有模型基础上用特定数据继续训练，以调整任务能力、输出风格或行为偏好。
训练与优化
梯度下降
根据目标函数对参数的梯度，沿减小目标值的方向更新参数的优化方法。
训练与优化
超参数
由训练过程之外配置的控制量，例如学习率、批大小或正则化强度。
训练与优化
学习率
控制参数每次更新幅度的超参数，通常由优化器结合梯度使用。
训练与优化
LoRA
冻结大部分原始权重，通过训练低秩增量矩阵适配模型的参数高效微调方法。
训练与优化
损失函数
把预测与训练目标的差距转换为数值，以指导参数更新的函数。
共 25 个词条 · 持续更新中