New Hot

Fish Audio 发布 Drama 3 语音合成模型:支持方括号表演指令与强调标签,开放权重并采用社区许可

Fish Audio语音合成配音商用授权

Fish Audio 发布 Drama 3 语音合成模型,支持用方括号写表演指令、用强调标签限定局部台词,覆盖 83 种语言。官方称其在 Artificial Analysis 发音鲁棒性基准上以 93.2% 位列第一,并以开放权重和新的社区许可发布,商业使用需按年收入门槛判断。

Drama 3 发音准确率 93.2%,开放权重发布

Fish Audio 发布 Drama 3 语音合成模型,支持方括号表演指令与成对强调标签,并在发布首日上线网页、iOS、Android 与 API。 官方把它定位为表演控制更强的语音模型。

官方原文称:“Drama 3 is Fish Audio's most emotive text-to-speech model: far more feeling than S2.1 Pro, and No. 1 on Artificial Analysis' Pronunciation Robustness benchmark.”(来源:Fish Audio 官方博客)

Fish Audio Drama 3 发布文章头图

表演指令与标签

指令写在方括号里,按你对演员说话的方式写,例如在句子中途插入气声、笑声或压低音量的说明。真正需要强调某个词时,用成对的 <emphasis> 标签只包住那几个词;在 Text to Speech 里选中文字后从标签菜单选择即可。

基准成绩

官方给出的数据是:Artificial Analysis 的发音鲁棒性基准上,Drama 3 读对 93.2% 的难词,S2.1 Pro 为 88.1%。提升最大的是品牌、地名与技术术语,以及依赖上下文判断读音的词;文件路径、邮箱这类精确序列从 79.4% 提升到 86.3%。

开放权重与许可

Drama 3 以开放权重发布,采用新的 Fish Audio Community License v1.0:研究与非商业用途免费;年收入低于 50 万美元的团队可免费商用;超过该门槛,或把 Drama 3 作为语音合成、声音克隆、推理服务或 API 对外提供,需要向 Fish Audio 申请许可。许可同时禁止未经本人同意克隆真人声音。

配音改为按台词下指令,只需重做不满意段

配音流程从「整段重生成」变成「按台词给指令、只重做不满意的部分」,长项目的返工成本明显下降。

配音与角色表演

方括号指令可以写在情绪转折的位置,适合对白、独白与广告配音。官方同时提醒一次生成的结果会有差异,实际制作建议多跑几版再挑。

有声书与多语言

官方称 Drama 3 在有声书与多语言配音这类长内容上收益最大,因为一个词读错不必重生成整章。配合 83 种语言的能力,指令语言可以与台词语言不同。音乐类生成的工作流,可参考 MiniMax 发布 Music 3.0 音乐生成模型:单次生成最长五分钟完整歌曲,开放权重并重做整条生成流水线。

需要替换的旧素材

仍用 S2.1 Pro 的项目要重新评估发音与情绪表现,尤其是有专有名词与精确序列的脚本。官方表示接口与 S2.1 Pro 相同,切换只需改模型标头。

有声书团队优先试,年收入 50 万美元内可免费商用

做有声书、多语言配音与角色对白的团队值得切到 Drama 3;只做短提示音的项目可以按需试用。

谁适合先试

长内容配音、播客与本地化团队收益最直接。需要稳定批量输出且不愿每次重跑的项目,要先把版本固定下来。

上手步骤

  1. 在 Text to Speech 里挑一段带情绪转折的台词,用方括号写表演指令。
  2. 需要强调的词选中后用标签包住,确认只有标签内的词被加重。
  3. 接 API 时把模型标头设为 drama-3,脚本与标签一起放进 text 字段,先用同一段文本对比 S2.1 Pro。

官方未披露的部分

官方没有说明各语言的实际可懂度差异,也没有给出编辑工具的开放时间。编辑工具目前处于小范围邀请测试,编辑 API 只是预告。商用前请按许可条款核对年收入与对外服务形态,涉及真人音色时还要确认授权。视频侧的素材制作,可参考 Suno 推出 Visuals:把歌曲变成 15 秒歌词视频、专辑封面与照片改写片段,并已在全平台上线。

常见问题

Drama 3 支持哪些表演控制方式?
用方括号写表演指令,并用成对的强调标签限定只作用于标签之间的词。
Drama 3 支持多少种语言?
官方称支持 83 种语言,指令语言不必与台词语言一致。
Drama 3 的商用授权怎么判断?
官方称年收入低于 50 万美元可免费商用,超过或对外提供语音合成服务需要单独申请许可。
通过 API 怎么切换到 Drama 3?
把模型标头设为 drama-3,脚本与标签放进 text 字段,接口与 S2.1 Pro 相同。

相关术语

Drama 3
Fish Audio 发布的表现力语音合成模型,以开放权重形式提供。
表演指令
写在方括号里的语气或情绪说明,用来指导一句话怎么念。
强调标签
成对出现的标签,只对标签之间的词施加语气强调。
发音鲁棒性
衡量模型在难词、专有名词与依赖上下文的词上读对比例的能力。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

「Fish Audio Drama 3: The Most Emotive Text-to-Speech Model We've Built」 —— Fish Audio

搜索文章

输入关键词,快速查找标题和正文内容。