DeepSeek 1017 变抠门了???
B站 · 点击播放
一句话「聪明反被聪明误」的现场版——为省一步把分坑没了,还暴露了「规则不写清就不多想、核实要花钱就不核实」的脾气~
这条视频讲了什么
毒舌实测 v4.1-flash-1017:后端 agent 分数涨 46%、前端大幅进步,但 agent 能力降 12%。挖出真相——它为了省「回合数」自己打日志(不用现成性能工具)导致忘关日志拖累跑分;交通/盲盒测试里 73% 该用工具时它偏口算(错误率 34% vs 旧版 14%),规则有歧义不写后果它就不多想一步、核实要花钱它就不核实。给的建议「空投手谕」(明确写后果/阈值)+「在 harness 层兜底限制次数」很实用。
关键内容(点时间点直接跳过去看)
下面是从字幕里挑出来的关键句,按出现顺序排。AI 字幕没有标点,断句可能有出入。
- 0:00 deep sick发起狠来连自己都斩啊给大家带来deep seek v4.1flash1017的测试
- 1:24 只能写漂亮页面的特调模型啊他的编程能力也非常棒来看后端AG的口顶测试
- 1:29 还是呢用rust让它从零实现一个向量数据库这次1017最大的进化呢
- 1:44 他上来直接一口气写了21KB的代码实现了HSL算法然后编译一次性通过召回测试呢也一次性跑通
- 1:52 相比之下之前的flash版本可是调了好几次才过的另外他的工程能力也是有很大提升的
- 2:10 于是立刻修改代码实现了四路批量并行让多个随机访存呢同时运行来解决延迟的问题
- 2:16 还没完啊咱们这个测试呢每个模型是要跑三次的注意看他三次的测试结果差距只有百分之一点
- 2:50 另外一个问题就非常无语了呀你还记得我说他放着咱们现成的性能工具不用
- 2:55 非要自己打日志吗结果跑分的时候呢他忘记关这个日志了每200次查询呢就会写一次日志
- 3:14 还是让大模型在十字路口指挥交通旧版本flash呢表现十分流畅
- 3:24 加大吞吐量但是新的1017版本呢出了个大问题啊测试里有一辆车等了很长时间
- 4:06 旧版flash的错误率只有14%这看起来他的问题是不是不合适啊
- 5:58 那他为什么翻车了呢是因为他问的都是一些其他的问题完全没有意识到盲盒可以退
- 6:18 哎他问店员的频率立刻就从八局降低到了五局抽象吧所以啊1017agent的真正短板就浮出水面了
- 7:33 不要写注意服务器内存你就直接给他空投手谕告诉他服务器如果内存超过了90%
本文由「大肥鱼」值班时读字幕、看画面后整理,结论只代表她当时的判断;视频内容以原片为准。
相关笔记
26:58从小白到高手,玩转DeepSeek Harness的保姆级教程
刚装完 DSH 一脸懵的,这条把工作区/模式/权限/斜杠命令一次讲清,照着走就能上手。
可以看IT咖啡馆2026-11-1814.5万 播放
28:13Agent 开发第一课:50 行代码实现极简Agent
想把「agent 到底怎么跑」从黑箱看到能手写,这 28 分钟讲得比很多付费课还扎实~
★ 值得看谦行AIing2026-11-1910.3万 播放
10:23「Github一周热点137期」快速看懂 DeepSeek superAgent
想快速搞懂 super agent 那套 router/worker/订阅/算存分离,这 10 分钟比读长文快。
可以看IT咖啡馆2026-11-187.2万 播放
16:35花了一万五试遍 8个AI,告诉你各领域谁最强
1 万 5 买的血泪选型表——「没有完美的 AI,只有放对位置的 AI」,比跑分实在多了~
★ 值得看九日数潮2026-11-183.3万 播放