1.0
This commit is contained in:
1 parent
dbda6edc00
commit
122c47dd20
15 files changed
+3765
-73
No files matched your search
+160
@@ -0,0 +1,160 @@
|
||||
# 通过ollama把普通文本转化为适合tts的xml格式,输出到文件
|
||||
|
||||
from ollama import chat
|
||||
from ollama import ChatResponse
|
||||
from backend import smart_split
|
||||
|
||||
from abc import ABC, abstractmethod
|
||||
import random
|
||||
|
||||
from loguru import logger
|
||||
|
||||
from tqdm import tqdm
|
||||
|
||||
logger.remove()
|
||||
logger.add(lambda msg: tqdm.write(msg, end=""), colorize=True)
|
||||
|
||||
|
||||
class TXTTransformer(ABC):
|
||||
@abstractmethod
|
||||
def transform(self, text: str) -> str:
|
||||
pass
|
||||
|
||||
|
||||
# 简单的转化为单一朗读者的xml格式
|
||||
class SimpleTransformer(TXTTransformer):
|
||||
def __init__(self):
|
||||
self.speak = "serena"
|
||||
|
||||
def transform(self, text: str) -> str:
|
||||
# 这里可以根据需要实现不同的转换逻辑
|
||||
return f"<{self.speak}>{text}</{self.speak}>"
|
||||
|
||||
|
||||
# 传入的转换逻辑(根据每行或者每个空格行)切分并随机按照朗读者转化为XML
|
||||
class AutoTransformer(TXTTransformer):
|
||||
def __init__(
|
||||
self, speakers: list[str], transform_function: callable[[str], str] = None
|
||||
):
|
||||
self.speakers = speakers or ["serena", "vivian", "uncle_fu", "dylan"]
|
||||
self.transform_function = transform_function
|
||||
|
||||
def transform(self, text: str) -> str:
|
||||
# 这里可以根据需要实现不同的转换逻辑
|
||||
lines = text.splitlines()
|
||||
result = []
|
||||
for line in lines:
|
||||
if line.strip() == "":
|
||||
continue
|
||||
speaker = random.choice(self.speakers)
|
||||
if self.transform_function:
|
||||
line = self.transform_function(line)
|
||||
result.append(f"<{speaker}>{line}</{speaker}>")
|
||||
return "\n".join(result)
|
||||
|
||||
|
||||
# 通过Ollama的语言模型来分析文本,提取出适合不同朗读者的文本,并转化为XML格式
|
||||
class OllamaTransformer(TXTTransformer):
|
||||
|
||||
def __init__(
|
||||
self,
|
||||
model: str = "qwen3:latest",
|
||||
prompt: str | None = None,
|
||||
speakers: list[str] = None,
|
||||
context_window: int = 2048,
|
||||
):
|
||||
self.model = model
|
||||
self.speakers = speakers or ["serena", "vivian", "uncle_fu", "dylan"]
|
||||
self.context_window = context_window
|
||||
self.speakers_describe = """
|
||||
【朗读者声音描述和参考权重如下】\n
|
||||
- serena: 甜美可爱的女性,适合朗读温柔、治愈、少女心的文本。权重较高,适合大部分文本。\n
|
||||
- vivian: 成熟稳重的女性,适合朗读正式、专业、权威感的文本。权重较高,适合商务、学术类文本。\n
|
||||
- bob: 年轻,沉稳的男性,适合朗读大部分文本,尤其是中性、平实的文本。权重较高,适合大部分文本。\n
|
||||
- uncle_fu: 沉稳有力的中年男性,适合朗读幽默、风趣、接地气的文本。权重偏低,适合生活化、娱乐化文本。\n
|
||||
- dylan: 年轻、有活力的男性,有一定北京口音,适合朗读现代、流行、充满青春气息的文本。权重较低,适合时尚、潮流类文本。\n
|
||||
|
||||
"""
|
||||
|
||||
if prompt is None:
|
||||
self.prompt = (
|
||||
"你是一个专业的文本分析与音频导演助手。请将输入的文本分析并转化为适合不同朗读者的 XML 格式。\n\n"
|
||||
"【工作流程】\n"
|
||||
"1. 识别可选的朗读者音色(必须严格从以下列表中选择):\n"
|
||||
f" 可用列表:{', '.join(self.speakers)}\n"
|
||||
"2. 根据文本中的【人物对话、叙述视角、情绪波动、场景切换】,将文本拆分并分配给最合适的朗读者。\n"
|
||||
"3. 用朗读者名字作为 XML 标签(如 <serena>文本</serena>)包裹对应文本。\n\n"
|
||||
"【核心原则】\n"
|
||||
"- **多变性**:整篇文本必须包含 2 种或以上的音色(优先 2-3 种),拒绝一读到底。\n"
|
||||
"- **自然度**:标签要在短距离内(每几句话或按自然段)及时闭合。不要频繁到每两三个字就切换,也不要一个标签拉通几千字。\n"
|
||||
"- **完整性**:100% 保留原文,严禁删减、修改或漏掉任何字句。\n"
|
||||
"- **纯净度**:直接输出包裹好标签的文本,不要附带任何前言、后记或 Markdown 代码块包裹。\n\n"
|
||||
"【正确示例】\n"
|
||||
"输入:汤姆叹了口气说:“我们迷路了。”杰克却显得很兴奋:“看,前面有灯光!”\n"
|
||||
"输出:<uncle_fu>汤姆叹了口气说:</uncle_fu><dylan>“我们迷路了。”</dylan><uncle_fu>杰克却显得很兴奋:</uncle_fu><vivian>“看,前面有灯光!”</vivian>\n\n"
|
||||
)
|
||||
|
||||
def transform(self, text: str) -> str:
|
||||
prompt_len = len(self.prompt or "")
|
||||
max_chunk = max(
|
||||
2048,
|
||||
int(self.context_window) - prompt_len - len(self.speakers_describe) - 400,
|
||||
)
|
||||
|
||||
parts = smart_split(text, max_length=max_chunk)
|
||||
logger.debug(
|
||||
f"文本长度 {len(text)} 字符,被切分为 {len(parts)} 个片段,每个片段最大长度约为 {max_chunk} 字符。"
|
||||
)
|
||||
results: list[str] = []
|
||||
|
||||
# 1. 提前构建 System Prompt (它是模型的大脑设定,不会被轻易覆盖)
|
||||
system_content = (
|
||||
(self.prompt or "")
|
||||
+ "\n\n"
|
||||
+ (self.speakers_describe or "")
|
||||
+ "\n\n【极其重要的系统指令】:你现在不是一个聊天机器人,你是一个没有感情的XML格式化工具。你只能输出最终的XML文本,绝对禁止输出任何问候语(如“你好”、“以下是”)、解释说明或 Markdown 代码块符(如 ```xml)。"
|
||||
)
|
||||
|
||||
for index, part in enumerate(parts, start=1):
|
||||
logger.debug(
|
||||
f"准备处理片段 {index}/{len(parts)},长度 {len(part)} 字符,前200字: {part[:200]!r}"
|
||||
)
|
||||
|
||||
# 2. 构建 User Prompt (明确划定文本边界,并在最后再次强调纪律)
|
||||
user_content = (
|
||||
"请严格按照System中的规则处理以下文本,并提取出XML结果。\n"
|
||||
"(注意:仅处理本片段,输出完整且自洽的XML标签,不要跨片段生成未闭合标签。)\n\n"
|
||||
"### 需要处理的文本开始 ###\n"
|
||||
f"{part}\n"
|
||||
"### 需要处理的文本结束 ###\n\n"
|
||||
"【最后警告】:直接输出包裹了标签的文本!不要输出任何废话、问候、总结,也不要使用 xml 代码块!"
|
||||
)
|
||||
logger.trace(
|
||||
f"system_content: {system_content}\nuser_content: {user_content}\n"
|
||||
)
|
||||
# 3. 严格区分角色发给模型
|
||||
response: ChatResponse = chat(
|
||||
model=self.model,
|
||||
messages=[
|
||||
{"role": "system", "content": system_content}, # 系统设定
|
||||
{"role": "user", "content": user_content}, # 用户数据
|
||||
],
|
||||
options={
|
||||
"max_tokens": self.context_window,
|
||||
"temperature": 0.1, # 降低温度,让模型变得死板、机械,专注于格式转换而非创作
|
||||
"top_p": 0.9,
|
||||
},
|
||||
)
|
||||
|
||||
# 获取内容并做一下基础的清理(防止模型还是手贱加了 ```xml)
|
||||
result_text = response["message"]["content"].strip()
|
||||
if result_text.startswith("```xml"):
|
||||
result_text = result_text[6:]
|
||||
if result_text.startswith("```"):
|
||||
result_text = result_text[3:]
|
||||
if result_text.endswith("```"):
|
||||
result_text = result_text[:-3]
|
||||
|
||||
results.append(result_text.strip())
|
||||
|
||||
return "\n".join(results)
|
||||
Reference in new issue
Block a user