ALIGNWORLD

大语言模型的输出机制

逐个 token,生成一句话。

  1. 分词与嵌入
  2. 注意力
  3. 概率
  4. 采样
输出

大语言模型

关于这个演示

候选词、分数与注意力权重均为简化示意,不是真实模型的推理结果。中文 token 的边界也因分词器而异;这里用易读的词块展示生成流程。温度改变概率分布,采样结果不一定是概率最高的候选。