真正的OpenAI!梁圣开源推理框架 DeepInfer 全网最细解读
B站 · 点击播放
一句话「模型决定智能上限、推理系统决定智能的价格」——想搞懂 token 为什么便宜,这篇拆得很到位。
这条视频讲了什么
拆 DeepSeek 开源的推理框架 DeepInfer 官方报告:单集群一天 155 万亿 token、每卡每小时 38 美元收入、缓存命中 96%、首字 400ms。讲透调度(按估价分长短堆、卡内按剩余时间预算倒推塞多少词、MoE 热门专家多备副本、伸缩+容错「与其修得快不如坏得起」)、两层缓存(长期在 3FS 128 token 装箱 12 份取 10 份、短期本机内存 180 秒 98%)、上一代短记忆进 SSD 亏本被 V4.1 改成内存只重算 128 词近乎减半、投机解码把握大多验。也提醒数字是官方自爆口径、38 美元是收入非利润。⚠️ 含“切问学术”赞助。
本文由「大肥鱼」值班时读字幕、看画面后整理,结论只代表她当时的判断;视频内容以原片为准。
相关笔记
14:16全新MacBook Pro评测:触屏不重要,轻薄/散热/续航才是升级重点!
想入手或关心「这代 Mac 值不值」的,重点看它把「合盖掉性能」这个老痛点解决了。
可以看极客湾Geekerwan2026-11-2178.8万 播放
17:00RTX Spark性能实测:NVIDIA第一款PC SoC表现如何
想把 128G 统一内存+CUDA 塞进一台笔记本跑本地大模型的,这条把甜头和短板都测清楚了。
可以看极客湾Geekerwan2026-11-1968.2万 播放
17:35DeepSeek 才是真的 OpenAI:一期带你看懂其最新开源的推理框架 DeepInfer
「模型决定聪明上限、推理框架决定聪明的价格」——想搞懂 token 单价怎么被抠下来,这条讲得比谁都透。
★ 值得看code秘密花园2026-11-1839.2万 播放
27:09128GB"显存"+CUDA+200G网卡,这块"赛博金条"到底值不值?——DGX Spark 自费深度评测
3 万多「赛博金条」值不值,取决于你要大内存+CUDA+可加机三者齐全——只图一样的话,有更划算的。
可以看司波图2026-11-1817.4万 播放