AI语音技术进步有多快：声音克隆30秒搞定

咨询发布

AI 语音这两年进步非常大，大到开始有点分不清是真人还是 AI 了。

分两个方向说。第一是语音识别（ASR）。OpenAI 的 Whisper 模型开源后，识别准确率在中文场景下达到 95% 以上，大部分方言都能识别。以前做语音转文字要用讯飞、百度的 API，现在自己部署 Whisper 就行，成本低一个数量级。有一家做会议纪要的创业公司，把 Whisper 部署在本地 GPU 上，一个小时的会议录音 3 分钟出稿，成本不到 1 块钱。

第二是语音合成（TTS）。这块进步更吓人。ChatTPT 的 Voice 模式、ElevenLabs 的 v2.5、阿里的 CosyVoice，生成的语音几乎听不出是机器。不只是清楚，还有感情、有停顿、有语气变化。ElevenLabs 能克隆一个人的声音，只需要 30 秒的样本，克隆出来的声音连本人都分不清。

CosyVoice 更狠，支持跨语言合成。输入中文文本，输出英语语音，语气和音色保持不变。对做内容出海的人来说，这个功能省了配音费。

但技术进步也带来问题。声音克隆如果被用来诈骗，受害者几乎没法分辨。已经有案例：骗子用 AI 克隆了老板的声音，打电话让财务转了几百万。监管层面目前还没有针对 AI 语音的法规，平台能做的就是加"AI 生成"标签，但这个标签能不能覆盖所有场景不好说。

这个赛道的创业窗口还在。语音交互是 AI 应用最自然的入口，比文字界面高效。智能硬件、车载系统、客服系统都需要语音方案。做垂直领域的语音方案（医疗问诊、法律咨询、教育培训）还有不少空间。

清和记事

楼主有没有做过横向对比？想看看别的方案在同样场景下的表现。

林间寒山

同感。这东西不是不能用，是很多人把它当万能药了，场景不对就是白花钱。

北岛不吃香菜

我这边的情况刚好相反，一开始不信，硬着头皮上了半年反而离不开了。

有点困看海

感谢分享，正卡在这个问题上，你的经验省了我不少时间。

闻笛半盏

同问，你那边上线之后有没有做过效果复盘？想看看真实数据。

晚风随笔

我之前也研究过这个方向，最后放弃了，主要是我这边数据量根本不够。

有点困2

这篇看完最大的收获是那句"先算清楚自己的量"，很多人上来就冲设备，最后闲置。

踏雪25

有个坑提醒一下，接口一变整套流程都得跟着改，最好提前做抽象层。

听风62

楼主写得很克制了，实际落地的坑还要多。我们部门试点三个月，最后砍掉了一半场景。