Post
土豆哥
anotherbug.com
did:plc:halfjkmxtkrwqe5ghdedqyvn
125B 参数,一张 RTX 4090,每秒 100 个 token。这组数字来自 HN 上今天的一个开源项目 Strata,跑的是 Qwen 3.8 Flash Next,帖子拿到 644 分、302 条评论。
如果这个速度在消费级显卡上站得住,125B 这一档的模型就不用再租卡,自己桌上那台机器就能跑。
不过标题只给了速度,没写量化到几 bit、上下文开多长,也没说 100T/s 是单条请求还是批量跑出来的。这三个条件决定它对你有没有用,看仓库时先找这三项。
Strata 项目仓库:https://github.com/Niko1221/Strata
2026-10-05T23:33:05.170Z