161 lines
7.7 KiB
Python
161 lines
7.7 KiB
Python
# 通过ollama把普通文本转化为适合tts的xml格式,输出到文件
|
|
|
|
from ollama import chat
|
|
from ollama import ChatResponse
|
|
from backend import smart_split
|
|
|
|
from abc import ABC, abstractmethod
|
|
import random
|
|
|
|
from loguru import logger
|
|
|
|
from tqdm import tqdm
|
|
|
|
logger.remove()
|
|
logger.add(lambda msg: tqdm.write(msg, end=""), colorize=True)
|
|
|
|
|
|
class TXTTransformer(ABC):
|
|
@abstractmethod
|
|
def transform(self, text: str) -> str:
|
|
pass
|
|
|
|
|
|
# 简单的转化为单一朗读者的xml格式
|
|
class SimpleTransformer(TXTTransformer):
|
|
def __init__(self):
|
|
self.speak = "serena"
|
|
|
|
def transform(self, text: str) -> str:
|
|
# 这里可以根据需要实现不同的转换逻辑
|
|
return f"<{self.speak}>{text}</{self.speak}>"
|
|
|
|
|
|
# 传入的转换逻辑(根据每行或者每个空格行)切分并随机按照朗读者转化为XML
|
|
class AutoTransformer(TXTTransformer):
|
|
def __init__(
|
|
self, speakers: list[str], transform_function: callable[[str], str] = None
|
|
):
|
|
self.speakers = speakers or ["serena", "vivian", "uncle_fu", "dylan"]
|
|
self.transform_function = transform_function
|
|
|
|
def transform(self, text: str) -> str:
|
|
# 这里可以根据需要实现不同的转换逻辑
|
|
lines = text.splitlines()
|
|
result = []
|
|
for line in lines:
|
|
if line.strip() == "":
|
|
continue
|
|
speaker = random.choice(self.speakers)
|
|
if self.transform_function:
|
|
line = self.transform_function(line)
|
|
result.append(f"<{speaker}>{line}</{speaker}>")
|
|
return "\n".join(result)
|
|
|
|
|
|
# 通过Ollama的语言模型来分析文本,提取出适合不同朗读者的文本,并转化为XML格式
|
|
class OllamaTransformer(TXTTransformer):
|
|
|
|
def __init__(
|
|
self,
|
|
model: str = "qwen3:latest",
|
|
prompt: str | None = None,
|
|
speakers: list[str] = None,
|
|
context_window: int = 2048,
|
|
):
|
|
self.model = model
|
|
self.speakers = speakers or ["serena", "vivian", "uncle_fu", "dylan"]
|
|
self.context_window = context_window
|
|
self.speakers_describe = """
|
|
【朗读者声音描述和参考权重如下】\n
|
|
- serena: 甜美可爱的女性,适合朗读温柔、治愈、少女心的文本。权重较高,适合大部分文本。\n
|
|
- vivian: 成熟稳重的女性,适合朗读正式、专业、权威感的文本。权重较高,适合商务、学术类文本。\n
|
|
- bob: 年轻,沉稳的男性,适合朗读大部分文本,尤其是中性、平实的文本。权重较高,适合大部分文本。\n
|
|
- uncle_fu: 沉稳有力的中年男性,适合朗读幽默、风趣、接地气的文本。权重偏低,适合生活化、娱乐化文本。\n
|
|
- dylan: 年轻、有活力的男性,有一定北京口音,适合朗读现代、流行、充满青春气息的文本。权重较低,适合时尚、潮流类文本。\n
|
|
|
|
"""
|
|
|
|
if prompt is None:
|
|
self.prompt = (
|
|
"你是一个专业的文本分析与音频导演助手。请将输入的文本分析并转化为适合不同朗读者的 XML 格式。\n\n"
|
|
"【工作流程】\n"
|
|
"1. 识别可选的朗读者音色(必须严格从以下列表中选择):\n"
|
|
f" 可用列表:{', '.join(self.speakers)}\n"
|
|
"2. 根据文本中的【人物对话、叙述视角、情绪波动、场景切换】,将文本拆分并分配给最合适的朗读者。\n"
|
|
"3. 用朗读者名字作为 XML 标签(如 <serena>文本</serena>)包裹对应文本。\n\n"
|
|
"【核心原则】\n"
|
|
"- **多变性**:整篇文本必须包含 2 种或以上的音色(优先 2-3 种),拒绝一读到底。\n"
|
|
"- **自然度**:标签要在短距离内(每几句话或按自然段)及时闭合。不要频繁到每两三个字就切换,也不要一个标签拉通几千字。\n"
|
|
"- **完整性**:100% 保留原文,严禁删减、修改或漏掉任何字句。\n"
|
|
"- **纯净度**:直接输出包裹好标签的文本,不要附带任何前言、后记或 Markdown 代码块包裹。\n\n"
|
|
"【正确示例】\n"
|
|
"输入:汤姆叹了口气说:“我们迷路了。”杰克却显得很兴奋:“看,前面有灯光!”\n"
|
|
"输出:<uncle_fu>汤姆叹了口气说:</uncle_fu><dylan>“我们迷路了。”</dylan><uncle_fu>杰克却显得很兴奋:</uncle_fu><vivian>“看,前面有灯光!”</vivian>\n\n"
|
|
)
|
|
|
|
def transform(self, text: str) -> str:
|
|
prompt_len = len(self.prompt or "")
|
|
max_chunk = max(
|
|
2048,
|
|
int(self.context_window) - prompt_len - len(self.speakers_describe) - 400,
|
|
)
|
|
|
|
parts = smart_split(text, max_length=max_chunk)
|
|
logger.debug(
|
|
f"文本长度 {len(text)} 字符,被切分为 {len(parts)} 个片段,每个片段最大长度约为 {max_chunk} 字符。"
|
|
)
|
|
results: list[str] = []
|
|
|
|
# 1. 提前构建 System Prompt (它是模型的大脑设定,不会被轻易覆盖)
|
|
system_content = (
|
|
(self.prompt or "")
|
|
+ "\n\n"
|
|
+ (self.speakers_describe or "")
|
|
+ "\n\n【极其重要的系统指令】:你现在不是一个聊天机器人,你是一个没有感情的XML格式化工具。你只能输出最终的XML文本,绝对禁止输出任何问候语(如“你好”、“以下是”)、解释说明或 Markdown 代码块符(如 ```xml)。"
|
|
)
|
|
|
|
for index, part in enumerate(parts, start=1):
|
|
logger.debug(
|
|
f"准备处理片段 {index}/{len(parts)},长度 {len(part)} 字符,前200字: {part[:200]!r}"
|
|
)
|
|
|
|
# 2. 构建 User Prompt (明确划定文本边界,并在最后再次强调纪律)
|
|
user_content = (
|
|
"请严格按照System中的规则处理以下文本,并提取出XML结果。\n"
|
|
"(注意:仅处理本片段,输出完整且自洽的XML标签,不要跨片段生成未闭合标签。)\n\n"
|
|
"### 需要处理的文本开始 ###\n"
|
|
f"{part}\n"
|
|
"### 需要处理的文本结束 ###\n\n"
|
|
"【最后警告】:直接输出包裹了标签的文本!不要输出任何废话、问候、总结,也不要使用 xml 代码块!"
|
|
)
|
|
logger.trace(
|
|
f"system_content: {system_content}\nuser_content: {user_content}\n"
|
|
)
|
|
# 3. 严格区分角色发给模型
|
|
response: ChatResponse = chat(
|
|
model=self.model,
|
|
messages=[
|
|
{"role": "system", "content": system_content}, # 系统设定
|
|
{"role": "user", "content": user_content}, # 用户数据
|
|
],
|
|
options={
|
|
"max_tokens": self.context_window,
|
|
"temperature": 0.1, # 降低温度,让模型变得死板、机械,专注于格式转换而非创作
|
|
"top_p": 0.9,
|
|
},
|
|
)
|
|
|
|
# 获取内容并做一下基础的清理(防止模型还是手贱加了 ```xml)
|
|
result_text = response["message"]["content"].strip()
|
|
if result_text.startswith("```xml"):
|
|
result_text = result_text[6:]
|
|
if result_text.startswith("```"):
|
|
result_text = result_text[3:]
|
|
if result_text.endswith("```"):
|
|
result_text = result_text[:-3]
|
|
|
|
results.append(result_text.strip())
|
|
|
|
return "\n".join(results)
|