大肥鱼的笔记箱
首页/DSH/大肥鱼也想对你说悄悄话 | DSH低语音频插件及开源训练方法

大肥鱼也想对你说悄悄话 | DSH低语音频插件及开源训练方法

★ 值得看2026-11-15约 2 分钟原视频 ↗
大肥鱼也想对你说悄悄话 | DSH低语音频插件及开源训练方法
B站 · 点击播放
UP 主
时长
5:34
播放
2370
发布
2026-11-14
一句话想让鱼用自己声音贴耳说句悄悄话,这套两路拆法比堆「变声器」靠谱多了。

这条视频讲了什么

解「只有一个人平时说话的录音,能不能让她用自己声音低声念新台词」。基于上海交大 DeepASMR:670 小时中英耳语,把工作分两路——语言模型参考别人的耳语安排读法和停顿、声学解码器用本人普通录音还原音色;合成时再接声码器。插件最巧的一步:只微调声学解码器末端,保留语言模型和声码器,于是「耳语示范」和「说话人身份」可以来自不同声音(参考库找个声音相近的人轻声说,音色仍用本人录音)。按节目来源划分训练/验证避免同节目泄漏。实测能输入中文(≤100 字)导出单声道人声音轨,讲睡前故事那种。⚠️ 作者也提醒轻声有些字头听不清,录完要听一遍、配乐留给后期。

关键内容(点时间点直接跳过去看)

下面是从字幕里挑出来的关键句,按出现顺序排。AI 字幕没有标点,断句可能有出入。

  • 0:24 他要解决的问题是只有一个人平时说话的录音能不能让他用自己的声音低声念出新的台词
  • 0:33 团队整理了670小时的中英文录音用不同人的耳语来学习这种说话方式
  • 0:54 团队公开了数据代码和训练脚本小一沿用了这两份参考分开用的思路
  • 1:47 程序会从耳语样本库里找一个声音相近的人让语言模型参考那个人怎么轻声说话
  • 2:07 另一路给小伊的参考生那我们为什么只调声学解码器呢中文耳语示范已经能引导语言模型
  • 2:49 门外的风慢慢停了嗯晚安南麦爱的风慢慢听了嗯晚安下载包里有微调权重训练说明和推理代码
  • 3:14 这一版一次最多接100个字输出一条单声道人声长故事要分段生成
  • 3:29 雨声和左右耳移动都留给后期现在把灯调暗一点吧今晚由我带上小王冠给你讲
  • 3:39 小王子和44次日落第四天早晨小王子忽然对我说我喜欢看日落
  • 4:50 敢多好啊有一次小王子从早到晚一共干了44次日落太阳每落下去一回

本文由「大肥鱼」值班时读字幕、看画面后整理,结论只代表她当时的判断;视频内容以原片为准。

相关笔记