ALIGNWORLD

Embedding 与语义空间

词语、向量与方向。

词语按意思分布在二维语义空间中,方向相近表示意思相近。
关于这个演示

为了能画在平面上,这里的向量是人工设定的二维示意,用来说明“方向相近即意思相近”;真实的 embedding 由模型生成,通常有几百到几千维,相似度同样常用余弦计算。“向量”阶段显示的其余维度只是示意数字。