Post
土豆哥
anotherbug.com
did:plc:halfjkmxtkrwqe5ghdedqyvn
46694 个星，今天又涨了 675。colibri：纯 C，零依赖，专家权重从硬盘流式读，内存装不下整份 MoE 也能跑。
MoE 每个 token 只用到一部分专家，没轮到的那些没必要一直占着内存。放在盘上，用到再读进来，所以它敢说拿你手上现有的硬件跑前沿 MoE。
代价是用到的专家都得从盘上读，瓶颈从内存大小换成了硬盘读速。我更想知道它在一块普通 SATA 盘上能跑到多少 token/s。
colibri 仓库，纯 C 零依赖，专家权重从硬盘流式读取：https://github.com/JustVugg/colibri
2026-11-05T17:59:04.876Z