一句话结论(TL;DR)
很多人在做本地转写和口播粗剪时,总想找一个「最快最准的模型」一招鲜吃遍天。实测下来这是一个典型的坑——快和准、要句级时间还是要字级时间,根本不是一回事。
本机最终定型的极简方案只留三个模型,严格按场景切:
- 灵感录音转文字 →
SenseVoice Small(本地 Q8 量化版) - 抓别人视频拿文本 → 先蹭平台现成字幕;拿不到只下载音轨再走
SenseVoice Small - 口播/访谈自动粗剪 →
Whisper large-v3-turbo主识别 +Whisper large-v3原版复查
实测数据:M4 MacBook Air 上有多快?
用 SenseVoiceSmall-Q8-GGUF 在 Apple M4 MacBook Air(32G)上跑真实音频的实测数据:
| 音频样本 | 音频时长 | SenseVoice 耗时 | 折算实时率(RTF) |
|---|---|---|---|
| 口播/短录音 | 4.5 分钟 | 7 秒 | ≈ 0.026 |
| 录播课音频 | 31 分钟 | 50.8 秒 | 0.0273(1 小时约 98 秒) |
| 平台短口播 | 98 秒(视频音轨) | 2.67 秒 | 0.0273 |
抓外部视频怎么省到极致
不要动不动就把整个 1080p 视频拖下来转写:
- B 站先拿站内 AI 字幕(如
ai-zh):实测抽样 8 条全部命中现成字幕,零下载、零算力。 - 抖音没有可抓的平台字幕时,只下纯音轨:比如一条 4.5 分钟的抖音视频,纯音轨只有 6.6MB,下载加转写全程 16 秒;B 站 10 分钟音轨也才约 6MB。注意:别用「最低清晰度视频」充当省流方案,部分最低画质流是不带音轨的。
为什么剪视频不能用 SenseVoice?
既然 SenseVoice 这么快,为什么做「口播自动粗剪」还要留两个体积 1.6G 和 3.1G 的 Whisper 模型?
实测踩过两个硬墙:
- 字级时间戳缺失:自动粗剪的底层逻辑是「AI 只看带编号的逐字稿决定删哪句、留哪遍重录,时间码裁剪和交叉淡入淡出全交给 FFmpeg 引擎」。SenseVoice 只给整段语音的时间戳,不给每个字的精确起止时间,下刀必吃字或卡不准静音间隙。
- 专有名词谁都不认识:拿同一条 6 分 15 秒的 AI 口播对比过,
Opus会被转成oppo,Claude Code会变成cloud code,Codex变成codeex,Seedance直接丢词。SenseVoice 认新名词并不比 Whisper 强,它强在「快 + 保留嗯/呃语气词」。专名纠错靠的是确定性专名词典 + 谨慎的模型复核,而不是换个识别模型。 - 为什么剪辑要用两个 Whisper:
large-v3-turbo负责快出初稿让 AI 决策删减;渲染出片后,用large-v3原版把成片再转写一遍做比对——因为两个模型漏听、错听的位置不一样,换一个模型复查才抓得出吞字问题。
粗剪决策里最容易写错的规矩
做 AI 读逐字稿删重录时,两条坑一定要写进提示词:
- 只删「说废了重来」的那几处,不删刻意排比和强调。
- 句尾语气词别乱留半截:如果误删了一半重录、漏删一个孤立的「吗」字,陈述句会直接变成反问句,整句话意思全反。
失效边界
- 三个本地模型默认均不输出说话人区分标签(SenseVoice 的 VAD 只切静音段);多人访谈分机位需要额外做声纹/能量对比。
- 带有强背景音乐、极重方言或混响很大的现场录音,SenseVoice 准确率会明显下降,此时需要降噪预处理或直接拿 Whisper turbo 对照验证。