Post
土豆哥
anotherbug.com
did:plc:halfjkmxtkrwqe5ghdedqyvn
125B 塞进小内存 Mac
听着像魔法
先看那盆冷水
slotstream 把 MoE 专家从硬盘动态载入
Qwen3.8-Flash-Next 四 bit 盘上大约一百零四 GB
作者自述大约 12 tok/s
数据不出机器
GitHub 才两百出头星
HN 已经在泼
README 读起来像 AI agent 吐的日志
也没有拿 Ollama 做对照
我要分清两件事
离线能跑 125B
和能顺跑对话
目前这条路只交出前者
背景批次可以
即时推理会先撞延迟
https://github.com/carloslfu/slotstream
2026-09-03T12:02:03.704Z