术语定义
Token（Token），中文通常称为词元。模型处理文本时使用的离散单位，可能对应一个字、一个词、词的一部分或符号。
应用示例
同一段中文用不同分词器处理，可能得到不同数量的词元。
理解要点
词元数不能固定换算为汉字数，计费和上下文长度应以实际分词结果为准。
想知道你自己的品牌被 AI 怎么评价？
跑一轮真实检测，拿到评分和问题清单。
Token（Token），中文通常称为词元。模型处理文本时使用的离散单位，可能对应一个字、一个词、词的一部分或符号。
同一段中文用不同分词器处理，可能得到不同数量的词元。
词元数不能固定换算为汉字数，计费和上下文长度应以实际分词结果为准。
跑一轮真实检测，拿到评分和问题清单。