实时超自然语音合成(超多方言)(算法编码:8005200016)
协议类型:WebSocket(WS)
一、接入点
| 环境 |
地址 |
| 公网 |
wss://api-maas.teleai.com.cn/aipaas/voice/v1/ttsSupernaturalNdialect/streaming |
- API Path :
/aipaas/voice/v1/ttsSupernaturalNdialect/streaming
- 请求方法 :
WebSocket
- Content-Type :
application/json
二、鉴权
服务接口调用时需要严格遵循服务鉴权规则,采用请求头携带鉴权信息,在建立 WebSocket 连接时通过 Header 传递:
2.1 标准鉴权
Authorization: <鉴权信息>
| 请求头 |
必填 |
说明 |
Content-Type |
是 |
内容类型,固定 application/json |
X-APP-ID |
是 |
买家中心 → 已购能力 → 【X-APP-ID】 |
Device-Uuid |
是 |
设备uuid |
Authorization |
是 |
鉴权信息 |
2.2 Bearer Token 鉴权
Authorization: Bearer <用户申请的API-KEY>
| 请求头 |
必填 |
说明 |
Content-Type |
是 |
内容类型,固定 application/json |
Device-Uuid |
是 |
设备uuid |
Authorization |
是 |
Bearer |
三、能力简介
- 支持输出格式:PCM 编码
- 支持设置采样率:8000 Hz,16000 Hz,22050 Hz,24000 Hz
- 音频为单声道,位深为 16 bit
- 支持设置语速、音量
- 支持设置多种说话人(多方言音色)
- 支持一次性合成 500 字符以内的文字,其中 1 个汉字、1 个英文字母、1 个标点或 1 个句子中间空格均算作 1 个字符,超过 500 个字符的内容将会截断,超过 500 字的文字不再进行合成
- 仅支持采用 UTF-8 编码的文本输入
3.1 修订历史
| 修订日期 |
算法版本号 |
修订内容 |
| 2025-12-09 |
V1.0.0 |
首次发布 |
四、请求与响应
4.1 握手返回结果
| code |
说明 |
解决方法 |
101 |
成功 |
建链成功,开始语音识别 |
1000 |
成功 |
正常关闭 |
1002 |
失败 |
协议错误/联系服务台 |
1005 |
失败 |
异常断开 |
1006 |
失败 |
异常断开 |
4002 |
失败 |
服务异常,联系服务台 |
4004 |
失败 |
服务异常,联系服务台 |
4.2 请求参数
客户端通过 WebSocket 连接发送 JSON 消息,请求报文为 Json Object:
| 字段 |
类型 |
必填 |
说明 |
req_id |
string |
是 |
请求全局唯一 ID,记录该值便于排查问题 |
text |
string |
是 |
待合成的文本,需要为 UTF-8 编码 |
format |
string |
否 |
音频编码格式,支持 PCM 格式,默认值:PCM |
sample_rate |
int |
否 |
音频采样率,支持 24000Hz、22050Hz、16000 Hz 和 8000 Hz,默认值:24000 |
voice |
string |
否 |
说话人,支持音色 guangzhounv、shanghainv、chengdunv、zhengzhounv、dongbeinv、changshanv、xiannv、xiamennv、joyce、lucas,默认为 dongbeinv |
volume |
int |
否 |
音量,取值范围:[0, 100],默认值:50 |
speech_rate |
float |
否 |
语速,取值范围:[0.5, 2.0],默认值:1.0 |
4.3 响应体
4.3.1 顶层字段
| 字段 |
类型 |
必填 |
说明 |
code |
int |
是 |
状态码,见服务码说明 |
message |
string |
是 |
状态说明,见服务码说明 |
sid |
string |
是 |
会话全局唯一 id,用于记录本次会话 |
result |
object |
否 |
合成结果数据 |
4.3.2 合成结果 result
| 字段 |
类型 |
说明 |
audio |
string |
合成音频数据,经过 base64 编码 |
audio_len |
int |
合成音频长度,单位:ms |
is_end |
boolean |
标志位:true 最后一个合成片段;false 中间合成片段 |
五、交互流程
5.1 发送请求(请求示例)
{
"req_id": "3a87fe9793c9-4ebd-95d4-4ce2-a80c054b",
"text": "今天是周一,天气挺好的。"
}
5.2 开始合成响应
{
"code": 10000,
"message": "Success",
"sid": "4eHgiLCBhbGdvcml"
}
5.3 接收合成数据响应
{
"code": 10000,
"message": "Success",
"result": {
"audio": "//6YYmNiDlSUXjZlDP8yADQAQ1E2ANKJOaTqFGUgIwDQAKAA==",
"audio_len": 2500,
"is_end": false
}
}
5.4 合成结束响应
{
"code": 10000,
"message": "Success",
"result": {
"audio": "//6YYmNiDlSUXjZlDP8yADQAQ1E2ANKJOaTqFGUgIwDQAKAA==",
"audio_len": 2500,
"is_end": true
}
}
六、状态码说明
6.1 算法状态码
| 状态码 |
说明 |
描述 |
解决方法 |
10000 |
Success |
成功 |
执行下一步操作 |
10301 |
Parameter error |
参数错误 |
检查请求体是否符合接口协议 |
10302 |
Too many requests |
并发请求过多 |
联系商务,增加并发 |
10304 |
Parse request body fail |
请求格式错误 |
查看请求的 URL body 格式是否正确,参考接口文档 |
10503 |
Server connection time out |
服务连接超时 |
联系技术人员 |
10903 |
Synthesis failed |
合成失败 |
联系技术人员 |
6.2 公共状态码
- 接口响应的公共状态码由网关统一定义,一般用于标识鉴权失败、限流或服务异常,具体业务错误码、错误信息及排查建议请参考:开发指南-公共信息及状态码。
七、调用示例
7.1 Python
import argparse
import asyncio
import websockets
import json
import base64
import logging
import time
# 配置日志,设置日志级别为INFO,并指定日志格式
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logger = logging.getLogger()
async def uws_call(args):
# 获取命令行参数中的URL
url = args.url
# 记录开始时间
start_time = time.time()
logger.info(f"开始建立websocket连接,获取当前时间:{start_time}")
header = {
"Content-Type": "application/json",
'X-APP-ID': args.X_APP_ID,
'Authorization': args.Authorization
}
# 建立WebSocket连接
async with websockets.connect(url, extra_headers=header) as websocket:
logger.info("=================================请求参数start_json===============================")
# 构建请求参数
start_json = {
'req_id': 'test001',
'text': '今天是周⼀,天⽓挺好的。'
}
logger.info(f"请求参数:{start_json}")
# 发送请求参数
await websocket.send(json.dumps(start_json))
try:
# 接收响应
resp_str = await websocket.recv()
resp_data = json.loads(resp_str)
if resp_data['status'] == 10000:
logger.info('Received initial response: %s', resp_str)
# 记录连接建立(即收到第一个响应)的时间
connection_established_time = time.time()
logger.info('WebSocket connection established in %.2f seconds',
connection_established_time - start_time)
is_end = False
# 打开文件以写入音频数据
with open("test.pcm", "wb") as f:
while not is_end:
# 接收音频数据
resp_audio_str = await websocket.recv()
resp_audio_data = json.loads(resp_audio_str)
if resp_audio_data['status'] != 10000:
logger.error('Received non-success status: %s', resp_audio_data)
break
if 'result' in resp_audio_data:
synth_info = resp_audio_data['result']
logger.info('Received synthesis info: %s', synth_info)
# 解码音频数据并写入文件
audio_wav = base64.b64decode(synth_info['audio'])
f.write(audio_wav)
is_end = synth_info['is_end']
else:
logger.error('No result in response: %s', resp_audio_data)
break
# 计算整个交互的耗时(从尝试连接到接收完所有消息)
total_duration = time.time() - start_time
logger.info('Total interaction duration: %.2f seconds', total_duration)
except websockets.exceptions.ConnectionClosed as e:
logger.error('WebSocket connection closed: %s', e)
# 如果连接关闭了,我们仍然可以记录到目前为止的耗时
logger.info('Duration until connection closed: %.2f seconds', time.time() - start_time)
except Exception as e:
logger.error('An error occurred: %s', e)
# 如果发生错误,我们同样记录到目前为止的耗时
logger.info('Duration until error occurred: %.2f seconds', time.time() - start_time)
finally:
# 关闭WebSocket连接
await websocket.close()
def main(args):
# 运行异步函数
asyncio.get_event_loop().run_until_complete(uws_call(args))
if __name__ == '__main__':
# 解析命令行参数
parser = argparse.ArgumentParser()
parser.add_argument('--url', type=str, default='算法调用地址')
parser.add_argument('--X_APP_ID', type=str, default='yourAppId')
parser.add_argument('--Authorization', type=str, default='yourAuthorization')
args = parser.parse_args()
# 调用主函数
main(args)
7.2 Java(使用 Java-WebSocket + FastJSON)
import com.alibaba.fastjson.JSONObject;
import org.java_websocket.client.WebSocketClient;
import org.java_websocket.handshake.ServerHandshake;
import java.net.URI;
import java.net.URISyntaxException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.Base64;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.stream.Collectors;
import java.util.stream.IntStream;
/**
* 为保证示例可以正常运行,请确认maven中是否存在以下依赖:
* <dependency>
* <groupId>org.java-websocket</groupId>
* <artifactId>Java-WebSocket</artifactId>
* <version>1.5.3</version>
* </dependency>
* <dependency>
* <groupId>com.alibaba</groupId>
* <artifactId>fastjson</artifactId>
* <version>2.0.49</version>
* </dependency>
*/
public class WebSocketExample extends WebSocketClient {
public WebSocketExample(URI serverUri, Map<String, String> headers) {
super(serverUri, headers);
}
public static void main(String[] args) {
try {
// 创建WebSocket客户端
URI uri = new URI("算法调用地址");
Map<String, String> headers = new HashMap<>();
//调用鉴权
headers.put("Content-Type", "application/json");
headers.put("X-APP-ID", "yourAppId");
headers.put("Authorization", "yourAuthorization");
WebSocketExample client = new WebSocketExample(uri, headers);
client.connect();
// 等待一段时间后关闭连接
Thread.sleep(5000);
client.close();
} catch (URISyntaxException | InterruptedException e) {
e.printStackTrace();
System.out.println("WebSocket error: " + e.getMessage());
}
}
@Override
public void onOpen(ServerHandshake handshakedata) {
System.out.println("WebSocket connection opened");
// 发送消息
try {
// 初始化连接消息
JSONObject initSend = new JSONObject();
initSend.put("req_id", "test001");
initSend.put("text", "今天是周⼀,天⽓挺好的。");
send(initSend.toJSONString());
} catch (Exception e) {
e.printStackTrace();
}
}
@Override
public void onMessage(String message) {
System.out.println("Received message: " + message);
}
@Override
public void onClose(int code, String reason, boolean remote) {
System.out.println("WebSocket connection closed: " + reason);
}
@Override
public void onError(Exception ex) {
System.err.println("WebSocket error: " + ex.getMessage());
}
}