Token 与下一个 Token 预测

建议用时：25 分钟

学习目标

能够解释文本如何被切成 Token，以及模型为何是逐步生成而非查找标准答案。

本节产出

一张从文本到输出的生成流程图

核心知识

• Token 是模型处理文本的基本单位，不总是等于一个汉字或一个单词。
• 模型根据已有上下文计算下一个 Token 的概率，再把新 Token 加回上下文。

动手练习

1. 找一个分词工具观察中英文句子的 Token 差异。
2. 用填词游戏模拟连续三步预测。

完成检查

• 流程包含切分、预测和追加
• 没有把概率最高误解为事实一定正确

参考与来源

• 本地知识库：《AI编码工具与 Agent 工作原理深度解析》