术语定义
上下文窗口(Context Window),中文通常称为上下文窗口。模型单次处理可容纳的词元范围,通常需要综合考虑输入、历史信息和输出预算。
应用示例
长文档问答要为问题与回答预留空间,不能把窗口全部塞满原文。
理解要点
窗口越大不代表模型能同样准确地利用每一处信息。
上下文窗口(Context Window),中文通常称为上下文窗口。模型单次处理可容纳的词元范围,通常需要综合考虑输入、历史信息和输出预算。
长文档问答要为问题与回答预留空间,不能把窗口全部塞满原文。
窗口越大不代表模型能同样准确地利用每一处信息。
跑一轮真实检测,拿到评分和问题清单。