我做短视频有段时间了,整条流程里,最烦的一直是录音这一步。
画面可以用程序一页页生成,字幕可以语音识别自动出,唯独声音,得自己对着麦克风念。环境吵了重来,念错一个字重来,念快念慢还得重录。录完听自己的声音,又总觉得别扭。
最近我把这一步也交给 AI 了:不录音,写好文案,程序直接生成配音,用的还是我自己的音色。音频出来的同时,字幕时间轴也一起出来了。
这篇不讲虚的,就讲我是怎么一步步做出来的:有哪些方案、要准备什么东西、具体怎么操作、怎么让 AI 帮你把整套跑通。
01 先说方案,配音有哪几条路
不想自己录音,现在大致三条路。
第一条,通用文字转语音。剪映自带的朗读、各种配音工具,都属于这类。方便、免费,但声音就那么几个,男声女声来回换,一听就是机器,谁都能用,出来的东西没有辨识度。
第二条,在线声音克隆。你传一段录音上去,它用你的声音念,效果普遍不错。国外的代表是 ElevenLabs;国内这两年也一堆,大厂基本都开放了接口:火山引擎的声音复刻(豆包语音)、MiniMax 的海螺语音、阿里云的 CosyVoice 云端版、讯飞的声音复刻、腾讯云的智听/声音复刻,C 端不想碰接口的,剪映、魔音工坊这类剪辑工具里也直接带了克隆配音。
这条路省事、不用装环境,代价是两个:录音得传到别人服务器上,声音素材不在自己手里;另外基本都收费,按调用字数或者按月订阅,量大了也是一笔持续开销。
第三条,本地跑开源模型。F5-TTS、GPT-SoVITS、CosyVoice 这几个,都是开源免费的,模型跑在你自己电脑上,声音和录音不出本机,用多少都不花钱。
三条路怎么挑,我画了张图:
![[2026-09-04_配音方案选择.png]]
我选的是 F5-TTS。原因很实在:中文念得自然,能克隆音色,配置在这几个开源模型里算简单的,苹果芯片的 Mac 就能跑,还免费。你要是追求更强的情绪起伏,可以上 CosyVoice2 这类更重的模型;我做知识口播,F5 这个程度够用了。
02 需要准备的东西
动手之前,就三样东西。
第一,一段你自己的录音。不用专门去录,平时发过的语音、以前录过的口播,截一句十来秒的就行。
第二,一台能跑的电脑。我自己在苹果芯片的 Mac 上跑通了;Windows 带 N 卡显卡的话会更快。
第三,一个能帮你写代码、跑命令的 AI。装环境、写脚本这些活,不用自己去啃,直接交给 AI 做,我用的是 WorkBuddy。
模型第一次运行会自动下载,几个 G,下完以后就不用联网了。
03 第一步:把参考音频准备对
声音克隆的原理先说清楚:你给模型一段自己的录音,再配上这段录音的文字,它就记住了你的音色;然后你给它一段新文案,它拿你的音色把新文案念出来。
这段参考音频有两个硬要求,踩过坑才知道。
一是必须是一句完整的话,别截在半句上。二是录音内容和你给的文字,要一字不差对得上。
我一开始图省事,参考音频截在了半句话中间。结果生成的音频开头,莫名其妙冒出参考录音里没念完的那几个字,跟着新稿子一起念出来了。后来换成一句完整的录音,这个毛病立刻就没了。
录音有底噪不用慌,让 AI 顺手做一步降噪、把响度拉平就行,一条命令的事。
04 第二步:喂文案,定语速
参考音频就位,把要念的文案给它,一句句合成。
这一步最大的坑是语速。第一版出来,音色确实是我的,没跑,但语速快得像开了二倍速,噼里啪啦往前赶。我一开始凭感觉调,压一点、听一耳朵,压了好几轮,不是太快就是慢得像拖着读,中间就是找不到那个舒服的点。
后来换了个办法,不算感觉,算数字。
知识类口播,正常人一分钟讲两百一十个字上下,舒服区间在两百到两百三。我就反过来推:一句话多少个字,合成出来多少秒,折成一分钟多少字,照着这个数字去调参数,一次就定准了。再听,就是真人正常说话的速度。
还有一个让它像真人的小技巧:别把一大段文案整个丢进去,按句子拆开,逗号、句号、问号后面留长短不一样的气口,问号后面停久一点,听着就有说话的起伏了。
这些拆句、调参、批量合成、最后拼成整条音频,全是我让 AI 写脚本跑的。我自己只做一件事:听完告诉它哪里快了、哪句不自然,它去改。
05 字幕的字省了,进度没省
这里得掰清楚一件事,我一开始也想当然了。
字幕其实是两半:一半是「字」,每句显示什么文字;一半是「进度」,这句话第几秒冒出来、第几秒消掉,得跟念的声音严丝合缝对上。
先说「字」。老流程里我录完音,要用语音识别把录音转成文字,转写还老出错,同音字、专有名词识别得乱七八糟,得人工一个个改。现在音频本来就是照着文案一个字一个字合成的,字天生就是对的,听写、改错字这半,确实省了。
但「进度」这一半省不掉。字幕什么时候出、什么时候消,必须跟真实声音对齐,对不上,就是字幕和声音两张皮。
老流程里,这个进度是靠语音识别转写拿到的,它一边听一边告诉你每段话从第几秒到第几秒。
新流程里不用再跑这一遍识别。因为音频是一句一句合成的,每一句程序都亲手量出了它真实念了多少秒,第几秒开始、第几秒结束,合成那一刻时间轴就已经对齐了。
所以不是不用转写,是「对齐进度」这件事,从事后靠语音识别去猜,变成了合成时顺手就量准。省掉的是录音、听写、改错字;进度对齐一步没少,只是换了个更准的方式拿到。
补一句:要是哪天改成整段合成,或者干脆用真人录音,手里没有逐句时长可拿,那还是得老老实实用语音识别去跑时间轴。
06 第三步:配画面,渲染出片
音频和字幕都有了,画面我走的是 PPT 式视频:把文案按内容分成几页,每页一个小标题加几个要点,封面和结尾各一页。
字幕一行控制在十几个字,长了就拆两行。再垫一条背景音乐,音量压得很低,不抢人声。
然后让 AI 调渲染程序:一页页 PPT 按节奏切换,底部字幕跟着语音高亮走,几分钟出一条横版成片。
我拿两条稿子完整跑过:写稿、合成配音、自动字幕、渲染出片,从头到尾没开过一次麦克风。
07 整条流程串起来
现在我出一条口播视频,就三步。
![[2026-09-04_配音出片实操流程.png]]
写好文案,让 AI 合成配音和字幕,再渲染出片。
真正要我自己动手的只有两件事:准备一段干净、完整的自己的录音当参考,把文案写顺。写文案的时候我会顺嘴念一遍,哪句念着拗口、不像人话,就改掉——反正最后是要念出来的,稿子顺了,音频自然顺。
剩下的装环境、下模型、拼音频、算字幕、渲染,都可以交给 AI 去做。你负责提要求和听效果,它负责跑。