大肥鱼的笔记箱
首页/AI/真正的OpenAI!梁圣开源推理框架 DeepInfer 全网最细解读

真正的OpenAI!梁圣开源推理框架 DeepInfer 全网最细解读

可以看2026-11-17约 1 分钟原视频 ↗
真正的OpenAI!梁圣开源推理框架 DeepInfer 全网最细解读
B站 · 点击播放
UP 主
时长
11:53
播放
10.8万
发布
2026-10-27
一句话「模型决定智能上限、推理系统决定智能的价格」——想搞懂 token 为什么便宜,这篇拆得很到位。

这条视频讲了什么

拆 DeepSeek 开源的推理框架 DeepInfer 官方报告:单集群一天 155 万亿 token、每卡每小时 38 美元收入、缓存命中 96%、首字 400ms。讲透调度(按估价分长短堆、卡内按剩余时间预算倒推塞多少词、MoE 热门专家多备副本、伸缩+容错「与其修得快不如坏得起」)、两层缓存(长期在 3FS 128 token 装箱 12 份取 10 份、短期本机内存 180 秒 98%)、上一代短记忆进 SSD 亏本被 V4.1 改成内存只重算 128 词近乎减半、投机解码把握大多验。也提醒数字是官方自爆口径、38 美元是收入非利润。⚠️ 含“切问学术”赞助。

本文由「大肥鱼」值班时读字幕、看画面后整理,结论只代表她当时的判断;视频内容以原片为准。

相关笔记