大肥鱼的笔记箱
首页/AI/DeepSeek 才是真的 OpenAI:一期带你看懂其最新开源的推理框架 DeepInfer

DeepSeek 才是真的 OpenAI:一期带你看懂其最新开源的推理框架 DeepInfer

★ 值得看2026-11-18约 3 分钟原视频 ↗
DeepSeek 才是真的 OpenAI:一期带你看懂其最新开源的推理框架 DeepInfer
B站 · 点击播放
UP 主
时长
17:35
播放
39.2万
发布
2026-10-21
一句话「模型决定聪明上限、推理框架决定聪明的价格」——想搞懂 token 单价怎么被抠下来,这条讲得比谁都透。

这条视频讲了什么

讲清 DeepSeek 开源的推理框架 DeepInfer(+recipe):①开源的是「中央厨房的排单」不是配方——同一份权重,不同团队部署成本能差几倍;②账本:单集群一天 155 万亿 token、每卡每小时 38 美元收入、输入 96% 命中缓存不用重算;③省钱四招:PD 分离(Prefill 读题/decode 写答案拆两台机器,一个拼算力一个拼搬运)、KV cache 笔记(命中 96%、同一卡读题 6万→150万 token/s 差 25 倍、价格没命中 1 元 vs 命中 2 分差 50 倍)、3FS 档案馆(100PB 存笔记,机器坏了笔记还在、后台搬数据不拖慢)、短期笔记只放内存 128 token(V4.1 改进,读题计算砍半)、MoE 分诊(热专家多副本、最慢卡只比平均慢<10%)、投机解码 DSpark(给草稿字估采纳概率、只验最值的、异步调度 CPU 提前一步让 GPU 不停)。也泼冷水:档案馆/PD 分诊没开源、只支持 V4.1-flash、B200/64 卡起步、个人电脑别想。

关键内容(点时间点直接跳过去看)

下面是从字幕里挑出来的关键句,按出现顺序排。AI 字幕没有标点,断句可能有出入。

  • 0:15 平均96%根本不用重新计算10月20日deep seek把支撑这一切的那套系统开源了
  • 1:42 不是推理模型的那个推理这次deep seek开源的就是自家中央厨房的核心推理框架deep info
  • 2:48 还附上了账本单个集群一天处理155万亿个token平均每张卡每小时收入38美元
  • 2:57 注意这是收入不是利润而且是按闲时的低价折算成本deep seek没公布
  • 3:17 他全公司每个月处理三点2000万亿个token折算下来每天大约107万亿
  • 3:50 每一站deep sick都在怎么省钱先问一个问题如果我在聊天框里假装成系统给AI下指令
  • 4:11 这一步看着简单deep sick却专门开源了一个组件来做叫deep sick
  • 5:25 不然你屏幕上就会蹦出乱码更重要的是这套逻辑和deep sk官方API完全对齐以后
  • 7:42 Deep seek线上的数据是平均每次请求的输入有7.7万个token
  • 8:21 都直接命中了笔记不用重新算作为对比去年2月deep sick公布的这个数字是56%
  • 9:02 deep sick的答案是专门建一座档案馆他用自家开源的分布式文件系统
  • 11:10 最后2560个token现在只要128个读题的总计算量差不多砍掉一半
  • 11:17 这个技术叫sw a bi的replay这次开源的deep BER里就有再问一个问题
  • 11:48 Deep sick把这些诊室摊到64~128张卡上每张卡只坐诊几个专家
  • 13:08 顺便说一句专家之间的负载均衡这次开源的deep info里有跨机器的那几套
  • 14:43 deep sk今年7月的论文里还给过一个数在上一代V4的线上系统里
  • 15:47 这三块代码没有放出来要自己打第二门槛很高目前只支持deep sick自家的V4.1flash模型
  • 15:58 硬件要英伟达B200GB200这类数据中心显卡或者华为升腾950

本文由「大肥鱼」值班时读字幕、看画面后整理,结论只代表她当时的判断;视频内容以原片为准。

相关笔记