本地语音转写与口播粗剪踩坑:为什么不能一个模型通吃(SenseVoice vs Whisper Turbo vs 原版实测)

TL;DR · 结论先行

本地转写按三场景只留三个模型,不要一个通吃:自己录的想法用 SenseVoice Small(M4 上 RTF 0.0273,1 小时约 98 秒);抓外部视频能拿平台字幕就别下载转写,没有字幕只下音轨;口播粗剪必须用 Whisper large-v3-turbo(要字级时间戳)+ large-v3 原版复查防吞字。

一句话结论(TL;DR)

很多人在做本地转写和口播粗剪时,总想找一个「最快最准的模型」一招鲜吃遍天。实测下来这是一个典型的坑——快和准、要句级时间还是要字级时间,根本不是一回事。

本机最终定型的极简方案只留三个模型,严格按场景切:

  • 灵感录音转文字 → SenseVoice Small(本地 Q8 量化版)
  • 抓别人视频拿文本 → 先蹭平台现成字幕;拿不到只下载音轨再走 SenseVoice Small
  • 口播/访谈自动粗剪 → Whisper large-v3-turbo 主识别 + Whisper large-v3 原版复查

实测数据:M4 MacBook Air 上有多快?

用 SenseVoiceSmall-Q8-GGUF 在 Apple M4 MacBook Air(32G)上跑真实音频的实测数据:

音频样本 音频时长 SenseVoice 耗时 折算实时率(RTF)
口播/短录音 4.5 分钟 7 秒 ≈ 0.026
录播课音频 31 分钟 50.8 秒 0.0273(1 小时约 98 秒)
平台短口播 98 秒(视频音轨) 2.67 秒 0.0273

抓外部视频怎么省到极致

不要动不动就把整个 1080p 视频拖下来转写:

  1. B 站先拿站内 AI 字幕(如 ai-zh):实测抽样 8 条全部命中现成字幕,零下载、零算力。
  2. 抖音没有可抓的平台字幕时,只下纯音轨:比如一条 4.5 分钟的抖音视频,纯音轨只有 6.6MB,下载加转写全程 16 秒;B 站 10 分钟音轨也才约 6MB。注意:别用「最低清晰度视频」充当省流方案,部分最低画质流是不带音轨的。

为什么剪视频不能用 SenseVoice?

既然 SenseVoice 这么快,为什么做「口播自动粗剪」还要留两个体积 1.6G 和 3.1G 的 Whisper 模型?

实测踩过两个硬墙:

  1. 字级时间戳缺失:自动粗剪的底层逻辑是「AI 只看带编号的逐字稿决定删哪句、留哪遍重录,时间码裁剪和交叉淡入淡出全交给 FFmpeg 引擎」。SenseVoice 只给整段语音的时间戳,不给每个字的精确起止时间,下刀必吃字或卡不准静音间隙。
  2. 专有名词谁都不认识:拿同一条 6 分 15 秒的 AI 口播对比过,Opus 会被转成 oppo,Claude Code 会变成 cloud code,Codex 变成 codeex,Seedance 直接丢词。SenseVoice 认新名词并不比 Whisper 强,它强在「快 + 保留嗯/呃语气词」。专名纠错靠的是确定性专名词典 + 谨慎的模型复核,而不是换个识别模型。
  3. 为什么剪辑要用两个 Whisper:large-v3-turbo 负责快出初稿让 AI 决策删减;渲染出片后,用 large-v3 原版把成片再转写一遍做比对——因为两个模型漏听、错听的位置不一样,换一个模型复查才抓得出吞字问题。

粗剪决策里最容易写错的规矩

做 AI 读逐字稿删重录时,两条坑一定要写进提示词:

  • 只删「说废了重来」的那几处,不删刻意排比和强调。
  • 句尾语气词别乱留半截:如果误删了一半重录、漏删一个孤立的「吗」字,陈述句会直接变成反问句,整句话意思全反。

失效边界

  • 三个本地模型默认均不输出说话人区分标签(SenseVoice 的 VAD 只切静音段);多人访谈分机位需要额外做声纹/能量对比。
  • 带有强背景音乐、极重方言或混响很大的现场录音,SenseVoice 准确率会明显下降,此时需要降噪预处理或直接拿 Whisper turbo 对照验证。

继续读其他踩坑

AI 长对话怎么无损交接:三轮盲评实测 Opus 8.4–8.8 分 vs DeepSeek 6.4–7.7 分,省一半到七成额度 2026-11-16 Claude Code + Pi + Kimi Code 多 Agent 怎么分工:按「要不要看图、要不要判断」派活,实测把 33 秒慢任务压到 0.4 秒 2026-11-16 AI 接管浏览器踩坑实录:OpenCLI 报 Detached 怎么排查,以及为什么别直接碰用户 Chrome 的 CDP 2026-11-16