- 改为使用tts引擎自带的功能来调整语速
- 现已支持指定特定tts音色 - 现已支持调整tts音量 - 去除无用注释
This commit is contained in:
1 parent
0775fa3681
commit
8a9413272d
3 files changed
+94
-25
No files matched your search
@@ -6,7 +6,7 @@
|
|||||||
|
|
||||||
- 去除markdown符号
|
- 去除markdown符号
|
||||||
- 文本转语音
|
- 文本转语音
|
||||||
- 用ffmpeg设置语速
|
- 用ffmpeg设置语速以及朗读音量
|
||||||
- 用ffmpeg为得到的语音音频添加循环背景音乐
|
- 用ffmpeg为得到的语音音频添加循环背景音乐
|
||||||
|
|
||||||
## 依赖
|
## 依赖
|
||||||
@@ -17,9 +17,18 @@
|
|||||||
## 使用方法
|
## 使用方法
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
python tts.py -f <markdown文件目录> -b <背景音乐文件目录> -l <语言> -r <倍数>
|
python tts.py -f <markdown文件目录> -b <背景音乐文件目录> -i <音色id> -r <倍数> -v <语音相对音量>
|
||||||
-f : 后面跟着markdown文件目录,为必填项
|
-f : 后面跟着markdown文件目录,为必填项
|
||||||
-b :后面跟着背景音乐文件目录,为选题项
|
-b :后面跟着背景音乐文件目录,为选填项
|
||||||
-r :后面跟着一个0.5~2.0的数字,可指定文本转语音的语速,为旋填项,默认为1.0
|
-i : 后面跟着tts音色id,为选填项
|
||||||
|
-r :后面跟着一个0.5~2.0的数字,可指定文本转语音的语速,为选填项,默认为1.0
|
||||||
|
-v : 后面跟着一个数字,可指定文本转语音的相对音量,为选填项,默认为0
|
||||||
```
|
```
|
||||||
|
|
||||||
|
> 音色id可在[fish audio的网站](https://fish.audio/zh-CN/app/discovery/)上查找
|
||||||
|
|
||||||
|
## 示例文件
|
||||||
|
|
||||||
|
`example.md`:包含了一系列markdown字符的markdown文件
|
||||||
|
|
||||||
|
`output/example.md`:执行`python tts.py -f example.md -i 6758b6fa79384cffae6f4adea4b5cc65 -b internationale.mp3 -r 1.1 -v 2`后得到的结果
|
||||||
Binary file not shown.
@@ -4,13 +4,13 @@
|
|||||||
# gtts库
|
# gtts库
|
||||||
fish-audio-sdk 库
|
fish-audio-sdk 库
|
||||||
ffmpeg
|
ffmpeg
|
||||||
# pyttsx3
|
|
||||||
本脚本使用方法:
|
本脚本使用方法:
|
||||||
python tts.py -f <markdown文件目录> -b <背景音乐文件目录> -l <语言> -r <倍数>
|
python tts.py -f <markdown文件目录> -b <背景音乐文件目录> -i <音色id> -r <倍数> -v <语音相对音量>
|
||||||
-f : 后面跟着markdown文件目录,为必填项
|
-f : 后面跟着markdown文件目录,为必填项
|
||||||
-b :后面跟着背景音乐文件目录,为选题项
|
-b :后面跟着背景音乐文件目录,为选填项
|
||||||
# -l :后面跟着语言代号,可指定tts引擎用什么语言输出音频,为选填项,默认为中文 (新模型无法设定语言,所以此项作废)
|
-i : 后面跟着tts音色id,为选填项
|
||||||
-r :后面跟着一个0.5~2.0的数字,可指定文本转语音的语速,为旋填项,默认为1.0
|
-r :后面跟着一个0.5~2.0的数字,可指定文本转语音的语速,为选填项,默认为1.0
|
||||||
|
-v : 后面跟着一个数字,可指定文本转语音的相对音量,为选填项,默认为0
|
||||||
"""
|
"""
|
||||||
import re
|
import re
|
||||||
import sys
|
import sys
|
||||||
@@ -18,6 +18,7 @@ import os
|
|||||||
import subprocess
|
import subprocess
|
||||||
|
|
||||||
from fishaudio import FishAudio
|
from fishaudio import FishAudio
|
||||||
|
from fishaudio.types import TTSConfig, Prosody
|
||||||
from fishaudio.utils import save
|
from fishaudio.utils import save
|
||||||
# from gtts import gTTS # 用于测试的gtts方案
|
# from gtts import gTTS # 用于测试的gtts方案
|
||||||
# import pyttsx3 # 本地tts方案,效果不行
|
# import pyttsx3 # 本地tts方案,效果不行
|
||||||
@@ -32,19 +33,21 @@ def main():
|
|||||||
# 设置参数默认值
|
# 设置参数默认值
|
||||||
markdown_path = ""
|
markdown_path = ""
|
||||||
background_path = ""
|
background_path = ""
|
||||||
# language = "zh-CN" #(语言参数作废)
|
id = ""
|
||||||
rate = 1.0
|
rate = float(1.0)
|
||||||
|
volume = float(0)
|
||||||
|
|
||||||
# 处理命令行输入
|
# 处理命令行输入id
|
||||||
for i , arg in enumerate(sys.argv):
|
for i , arg in enumerate(sys.argv):
|
||||||
if arg == "-f": markdown_path = sys.argv[i + 1]
|
if arg == "-f": markdown_path = sys.argv[i + 1]
|
||||||
if arg == "-b": background_path = sys.argv[i + 1]
|
if arg == "-b": background_path = sys.argv[i + 1]
|
||||||
# if arg == "-l": language = sys.argv[i + 1] #(语言参数作废)
|
if arg == "-i": id = sys.argv[i + 1]
|
||||||
if arg == "-r": rate = float(sys.argv[i + 1])
|
if arg == "-r": rate = float(sys.argv[i + 1])
|
||||||
|
if arg == "-v": volume = float(sys.argv[i + 1])
|
||||||
|
|
||||||
# 处理输入不规范的情况
|
# 处理输入不规范的情况
|
||||||
if markdown_path == "":
|
if markdown_path == "":
|
||||||
print("本脚本使用方法:\npython tts.py -f <markdown文件目录> -b <背景音乐文件目录> -r <倍数>\n\t-f : 后面跟着markdown文件目录,为必填项\n\t-b :后面跟着背景音乐文件目录,为选题项\n\t-r :后面跟着一个0.5~2.0的数字,可指定文本转语音的语速,为旋填项,默认为1.0\n")
|
print("本脚本使用方法:\npython tts.py -f <markdown文件目录> -b <背景音乐文件目录> -i <音色id> -r <倍数> -v <语音相对音量>\n\t-f : 后面跟着markdown文件目录,为必填项\n\t-b :后面跟着背景音乐文件目录,为选填项\n\t-i : 后面跟着tts音色id,为选填项\n\t-r :后面跟着一个0.5~2.0的数字,可指定文本转语音的语速,为选填项,默认为1.0\n\t-v : 后面跟着一个数字,可指定文本转语音的相对音量,为选填项,默认为0\n")
|
||||||
return
|
return
|
||||||
|
|
||||||
# 创建必要的文件夹
|
# 创建必要的文件夹
|
||||||
@@ -52,7 +55,7 @@ def main():
|
|||||||
|
|
||||||
# 生成文件
|
# 生成文件
|
||||||
print("生成中...")
|
print("生成中...")
|
||||||
cod = generate_mp3(markdown_path, background_path, rate)
|
cod = generate_mp3(markdown_path, background_path, id, rate, volume)
|
||||||
if cod != -1: print("完成")
|
if cod != -1: print("完成")
|
||||||
|
|
||||||
|
|
||||||
@@ -75,14 +78,15 @@ def create_necessary_dir():
|
|||||||
|
|
||||||
|
|
||||||
|
|
||||||
def generate_mp3(markdown_path, background_path="", rate=1.0): # (语言参数作废)
|
def generate_mp3(markdown_path, background_path="", id = "", rate=1.0, volume=0.0):
|
||||||
"""
|
"""
|
||||||
在./output目录下生成(经过处理后的)markdown朗读音频
|
在./output目录下生成(经过处理后的)markdown朗读音频
|
||||||
|
|
||||||
Args:
|
Args:
|
||||||
markdown_path(str): markdown文件路径
|
markdown_path(str): markdown文件路径
|
||||||
background_path(str):背景音乐路径,若为空字符串则不会尝试添加背景音乐
|
background_path(str):背景音乐路径,若为空字符串则不会尝试添加背景音乐
|
||||||
rate(float):tts语数,范围为0.5~2.0
|
id(str):tts音色id,若为空则默认
|
||||||
|
rate(float):tts语速,范围为0.5~2.0
|
||||||
"""
|
"""
|
||||||
|
|
||||||
# 去除markdown文件中的符号后将其转化为音频
|
# 去除markdown文件中的符号后将其转化为音频
|
||||||
@@ -106,15 +110,22 @@ def generate_mp3(markdown_path, background_path="", rate=1.0): # (语言参
|
|||||||
|
|
||||||
# 生成tts音频
|
# 生成tts音频
|
||||||
print("正在生成文本转语音音频...")
|
print("正在生成文本转语音音频...")
|
||||||
generate_tts(text, temp_path)
|
generate_tts(text, temp_path, id, rate)
|
||||||
print("语音音频生成完毕")
|
print("语音音频生成完毕")
|
||||||
|
|
||||||
# 若倍数不为1,则用ffmpeg调整tts倍数
|
# 新模型自带调整语速功能,没必要用ffmpeg调整语速
|
||||||
if rate != 1.0:
|
# # 若倍数不为1,则用ffmpeg调整tts倍数
|
||||||
print("正在调整朗读文本速度...")
|
|
||||||
cod = made_in_heaven(temp_path, rate)
|
|
||||||
if cod != -1: print("朗读速度调整完毕")
|
|
||||||
|
|
||||||
|
# if rate != 1.0:
|
||||||
|
# print("正在调整朗读文本速度...")
|
||||||
|
# cod = made_in_heaven(temp_path, rate)
|
||||||
|
# if cod != -1: print("朗读速度调整完毕")
|
||||||
|
|
||||||
|
# 若相对音量不为0,则用ffmpeg调整tts音量
|
||||||
|
if volume != 0:
|
||||||
|
print("正在调整朗读音量...")
|
||||||
|
cod = adjust_volume(temp_path, volume)
|
||||||
|
if cod != -1: print("朗读音量调整完毕")
|
||||||
# 若背景音乐路径不为空,则用ffmpeg添加背景音乐
|
# 若背景音乐路径不为空,则用ffmpeg添加背景音乐
|
||||||
if background_path != "":
|
if background_path != "":
|
||||||
print("正在添加背景音乐...")
|
print("正在添加背景音乐...")
|
||||||
@@ -185,13 +196,16 @@ def extract_text_from_markdown(content):
|
|||||||
|
|
||||||
|
|
||||||
|
|
||||||
def generate_tts(text, output): # (语言参数作废)
|
def generate_tts(text, output, id="", rate=1.0):
|
||||||
"""
|
"""
|
||||||
将输入的文本转换成音频输出
|
将输入的文本转换成音频输出
|
||||||
|
|
||||||
Args:
|
Args:
|
||||||
text(str):输入的文本
|
text(str):输入的文本
|
||||||
output(str):输出的文件的路径
|
output(str):输出的文件的路径
|
||||||
|
id(str):tts音色id
|
||||||
|
rate(float):tts语速
|
||||||
|
volume(float):tts相对音量
|
||||||
"""
|
"""
|
||||||
|
|
||||||
apikey = "" # 请在""内输入你的api key
|
apikey = "" # 请在""内输入你的api key
|
||||||
@@ -200,8 +214,19 @@ def generate_tts(text, output): # (语言参数作废)
|
|||||||
apikey = input("请输入你的api key:")
|
apikey = input("请输入你的api key:")
|
||||||
|
|
||||||
# 使用fish speech服务(需要API KEY)将文本转换为语音
|
# 使用fish speech服务(需要API KEY)将文本转换为语音
|
||||||
|
|
||||||
client = FishAudio(api_key = apikey)
|
client = FishAudio(api_key = apikey)
|
||||||
audio = client.tts.convert(text = text)
|
# 由于该tts自带的音量调整有问题,因此本脚本不用它来调整tts音量
|
||||||
|
if id == "":
|
||||||
|
config = TTSConfig(
|
||||||
|
prosody=Prosody(speed=rate, volume=0)
|
||||||
|
)
|
||||||
|
else:
|
||||||
|
config = TTSConfig(
|
||||||
|
prosody=Prosody(speed=rate, volume=0),
|
||||||
|
reference_id=id,
|
||||||
|
)
|
||||||
|
audio = client.tts.convert(text = text, config = config)
|
||||||
save(audio, output)
|
save(audio, output)
|
||||||
|
|
||||||
|
|
||||||
@@ -257,8 +282,41 @@ def made_in_heaven(path, rate):
|
|||||||
|
|
||||||
# 删除输入文件
|
# 删除输入文件
|
||||||
os.remove(input_path)
|
os.remove(input_path)
|
||||||
|
|
||||||
|
return 0
|
||||||
|
|
||||||
|
|
||||||
|
def adjust_volume(path, volume):
|
||||||
|
"""
|
||||||
|
调整输入音频的音量
|
||||||
|
|
||||||
|
Args:
|
||||||
|
path(str):待处理音频的路径,同时也是处理后音频的路径
|
||||||
|
volume(float):相对音量
|
||||||
|
"""
|
||||||
|
|
||||||
|
# 确保已经安装了ffmpeg
|
||||||
|
if not check_ffmpeg():
|
||||||
|
print("错误:需要安装ffmpeg")
|
||||||
|
return -1
|
||||||
|
|
||||||
|
# 利用ffmpeg将调整输入文件的音量,输出到重命名前的路径(这么别扭的原因是ffmpeg不支持输入文件和输出文件的路径完全相同)
|
||||||
|
input_path = "./temp/" + os.path.splitext(os.path.basename(path))[0] + "_volume.mp3"
|
||||||
|
cmd = [
|
||||||
|
'ffmpeg',
|
||||||
|
'-i', str(input_path),
|
||||||
|
'-af', 'volume=' + str(volume) + 'dB',
|
||||||
|
str(path)
|
||||||
|
]
|
||||||
|
# 重命名输入文件
|
||||||
|
os.rename(path, input_path)
|
||||||
|
|
||||||
|
subprocess.run(cmd)
|
||||||
|
|
||||||
|
# 删除输入文件
|
||||||
|
os.remove(input_path)
|
||||||
|
|
||||||
|
return 0
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
@@ -303,6 +361,8 @@ def add_bg(path, bg_path):
|
|||||||
# 删除输入文件
|
# 删除输入文件
|
||||||
os.remove(input_path)
|
os.remove(input_path)
|
||||||
|
|
||||||
|
return 0
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
def get_audio_duration(audio_path):
|
def get_audio_duration(audio_path):
|
||||||
|
|||||||
Reference in new issue
Block a user