# 本地语音转写与口播粗剪踩坑：为什么不能一个模型通吃（SenseVoice vs Whisper Turbo vs 原版实测）

- 作者: 花仔
- 发布日期: 2026-11-16
- 分类: 内容自动化
- 标签: SenseVoice, Whisper, 口播粗剪, ASR, 本地模型, FFmpeg
- 网页版（给人看）: https://blog.huazaiai.dpdns.org/posts/local-asr-sensevoice-vs-whisper-auto-cut/
- 原文版（给 AI 看）: https://blog.huazaiai.dpdns.org/posts/local-asr-sensevoice-vs-whisper-auto-cut.md

> **一句话结论（TL;DR）**：本地转写按三场景只留三个模型，不要一个通吃：自己录的想法用 SenseVoice Small（M4 上 RTF 0.0273，1 小时约 98 秒）；抓外部视频能拿平台字幕就别下载转写，没有字幕只下音轨；口播粗剪必须用 Whisper large-v3-turbo（要字级时间戳）+ large-v3 原版复查防吞字。

---

## 一句话结论（TL;DR）

很多人在做本地转写和口播粗剪时，总想找一个「最快最准的模型」一招鲜吃遍天。实测下来这是一个典型的坑——**快和准、要句级时间还是要字级时间，根本不是一回事。**

本机最终定型的极简方案只留三个模型，严格按场景切：
- **灵感录音转文字** → `SenseVoice Small`（本地 Q8 量化版）
- **抓别人视频拿文本** → 先蹭平台现成字幕；拿不到只下载音轨再走 `SenseVoice Small`
- **口播/访谈自动粗剪** → `Whisper large-v3-turbo` 主识别 + `Whisper large-v3` 原版复查

---

## 实测数据：M4 MacBook Air 上有多快？

用 `SenseVoiceSmall-Q8-GGUF` 在 Apple M4 MacBook Air（32G）上跑真实音频的实测数据：

| 音频样本 | 音频时长 | SenseVoice 耗时 | 折算实时率（RTF） |
|---|---|---|---|
| 口播/短录音 | 4.5 分钟 | 7 秒 | ≈ 0.026 |
| 录播课音频 | 31 分钟 | 50.8 秒 | **0.0273**（**1 小时约 98 秒**） |
| 平台短口播 | 98 秒（视频音轨） | 2.67 秒 | 0.0273 |

### 抓外部视频怎么省到极致

不要动不动就把整个 1080p 视频拖下来转写：
1. **B 站先拿站内 AI 字幕**（如 `ai-zh`）：实测抽样 8 条全部命中现成字幕，**零下载、零算力**。
2. **抖音没有可抓的平台字幕时，只下纯音轨**：比如一条 4.5 分钟的抖音视频，纯音轨只有 **6.6MB**，下载加转写全程 **16 秒**；B 站 10 分钟音轨也才约 **6MB**。注意：别用「最低清晰度视频」充当省流方案，部分最低画质流是不带音轨的。

---

## 为什么剪视频不能用 SenseVoice？

既然 SenseVoice 这么快，为什么做「口播自动粗剪」还要留两个体积 1.6G 和 3.1G 的 Whisper 模型？

实测踩过两个硬墙：
1. **字级时间戳缺失**：自动粗剪的底层逻辑是「AI 只看带编号的逐字稿决定删哪句、留哪遍重录，时间码裁剪和交叉淡入淡出全交给 FFmpeg 引擎」。SenseVoice 只给整段语音的时间戳，不给每个字的精确起止时间，下刀必吃字或卡不准静音间隙。
2. **专有名词谁都不认识**：拿同一条 6 分 15 秒的 AI 口播对比过，`Opus` 会被转成 `oppo`，`Claude Code` 会变成 `cloud code`，`Codex` 变成 `codeex`，`Seedance` 直接丢词。SenseVoice 认新名词并不比 Whisper 强，它强在「快 + 保留嗯/呃语气词」。专名纠错靠的是**确定性专名词典 + 谨慎的模型复核**，而不是换个识别模型。
3. **为什么剪辑要用两个 Whisper**：`large-v3-turbo` 负责快出初稿让 AI 决策删减；渲染出片后，用 `large-v3` 原版把成片再转写一遍做比对——因为两个模型漏听、错听的位置不一样，换一个模型复查才抓得出吞字问题。

---

## 粗剪决策里最容易写错的规矩

做 AI 读逐字稿删重录时，两条坑一定要写进提示词：
- **只删「说废了重来」的那几处，不删刻意排比和强调**。
- **句尾语气词别乱留半截**：如果误删了一半重录、漏删一个孤立的「吗」字，陈述句会直接变成反问句，整句话意思全反。

---

## 失效边界

- 三个本地模型默认均不输出说话人区分标签（SenseVoice 的 VAD 只切静音段）；多人访谈分机位需要额外做声纹/能量对比。
- 带有强背景音乐、极重方言或混响很大的现场录音，SenseVoice 准确率会明显下降，此时需要降噪预处理或直接拿 Whisper turbo 对照验证。

---

## 关于作者与联系

- 作者：花仔（AI 一人团队架构师 · 实战派工具作者）
- 个人主页：https://blog.huazaiai.dpdns.org/
- 全站 AI 索引：https://blog.huazaiai.dpdns.org/llms.txt
- GitHub：https://github.com/chennian080403
- 微信：CHYS043（加微信请备注「博客」或「需求」，看到必回）
