Llama 4 的 1000 万 token

4 月 5 日，一个周六，Meta 发布了 Llama 4。先放出两个：Scout 和 Maverick，最大的 Behemoth 还在训练。参数表很长，我停在了一行上：Scout 的上下文窗口，1000 万 token。

1000 万大概是 750 万个英文单词，有人换算过，差不多 80 本小说。

2023 年，我数着 2.5 万词过日子。GPT-4 默认 8K，32K 的版本要排队；写个长文档摘要得手动切成三段喂，多聊几轮就得删前面的话腾地方，超了的部分直接被截掉。之后这条线一路狂奔：Claude 到了 10 万，去年 Gemini 1.5 Pro 跨过 100 万，现在是 1000 万。

1000 万是刚需还是噱头？如果价值是"装得多"，那是噱头，绝大多数人一辈子用不满 100 万。但这两年做应用的人都学了同一套手艺：切块、向量库、重排序，存在的唯一理由就是"塞不下"。做过的人都知道，调切块大小调到怀疑人生是常态。窗口大到一定程度，最笨的办法回来了，整个资料库直接丢进去。

当然，塞得下不等于找得准。长文本里放在中间的东西最容易丢，这是公开的毛病，标称窗口和真正记得住的长度之间，各家心里都有本账。

这次全家切到了 MoE：Scout 总参数 1090 亿、每次只激活 170 亿，Maverick 总参数 4000 亿、也只激活 170 亿。DeepSeek 刚证明不烧钱也能摸到前沿，Meta 马上跟进了这套省钱的打法。

发布才几天就出了岔子：有人发现 Meta 送去 LMArena 打榜的是一个"实验版"，和公开下载的不是同一个，排名有水分。LMArena 已经出来说要改规则。开源的姿态，配着刷榜的小动作，有点可惜。