F5-TTS

F5-TTS 是上海交通大学开发的基于流匹配的开源全非自回归文本到语音转换系统（Text-to-Speech，TTS）。它以高效、自然和多语言支持而著称，已接近商用水平。

GitHub 地址：https： //github.com/SWivid/F5-TTS

以下是 F5-TTS 的一些主要功能和技术亮点：

1. 完全非自回归架构：F5-TTS 采用全非自回归模型，能够并行处理整个语音合成任务，大大提高了处理速度和效率，实时因子（RTF）推理速度达到 0.15，远远优于目前基于扩散的 TTS 模型。
2. 流匹配技术：F5-TTS 采用了先进的流匹配技术，这是一种基于最佳传输路径的方法，用于改进生成模型的学习过程。这种技术能让模型更准确地模拟目标数据的分布，从而提高合成语音的自然度和准确度。
3. 扩散变换器（DiT）的应用：F5-TTS 采用了扩散变换器（Diffusion Transformer），这种变换器结构包含一个扩散模型，专门用于处理生成任务中的对齐和数据生成问题。
4. Sway 采样策略：在推理时，F5-TTS 引入了 Sway 采样策略，这是一种新颖的采样方法，可在模型的流程步骤中更有效地选择样本。这种方法可以进一步提高语音生成的自然度和可懂度，同时与原文保持高度一致。
5. 简化训练过程：与传统模型相比，F5-TTS 不需要时长预测器、文本编码器或音素对齐模块等复杂组件。这种简化大大降低了模型的复杂性，使训练过程更快，同时减少了对计算资源的需求。
6. 高性能和多语言支持：F5-TTS 在一个公开的 10 万小时多语言数据集上进行了训练，证明了其对多语言的高自然处理能力。该模型支持无缝代码切换功能和速度控制，使其能够在各种应用场景中表现出色。