前段时间,带着大家捏了一个对话机器人:
AI布道师:手把手带你搭建一个语音对话机器人,5分钟定制个人AI小助手(新手入门篇)22 赞同 · 3 评论文章
其中语音识别(ASR)方案,采用的是阿里开源的 FunASR,这刚不久,阿里又开源了一个更强的音频基础模型!该模型具有如下能力:
传送门:https://github.com/FunAudioLLM/SenseVoice
今天就带着大家体验一番~
模型结构如下图所示:
模型亮点:
在线体验地址:https://www.modelscope.cn/studios/iic/SenseVoice
语音识别:支持中、粤、英、日、韩语等 50 多种语言。
情感识别:比如积极 or 消极,以 Emoji 表情输出。
音频事件检测:同样以 Emoji 表情输出。
首先 git 下载到本地,然后安装必要的包:
git clone https://github.com/FunAudioLLM/SenseVoice.git
pip install -r requirements.txt
注意:
funasr
版本要 >=1.1.2
,这个和 funasr
语音识别模型的版本是不匹配的,如果要同时使用这两个模型,会出现版本冲突,所以最好采用 conda 管理 python 环境。torchaudio
需要更新到最新版本,否则会出现报错。接下来,我们采用官方脚本进行测试:
from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess
model_dir = "iic/SenseVoiceSmall"
model = AutoModel(
model=model_dir,
trust_remote_code=True,
remote_code="./model.py",
vad_model="fsmn-vad",
vad_kwargs={"max_single_segment_time": 30000},
device="cuda:0",
)
res = model.generate(
input=f"{model.model_path}/example/en.mp3",
cache={},
language="auto", # "zn", "en", "yue", "ja", "ko", "nospeech"
use_itn=True,
batch_size_s=60,
merge_vad=True, #
merge_length_s=15,
)
text = rich_transcription_postprocess(res[0]["text"])
print(text)
首次使用,会下载模型,默认保存在你的根目录下:~/.cache/modelscope/
。
测试成功后,我们采用 FastAPI 把模型部署成一个服务,方便提供给其他应用调用。
首先准备好服务端代码 speech_server.py
:
import torch
import base64
import uvicorn
from fastapi import FastAPI
from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess
from pydantic import BaseModel
# asr model
model = AutoModel(
model="iic/SenseVoiceSmall",
trust_remote_code=True,
remote_code="./model.py",
vad_model="fsmn-vad",
vad_kwargs={"max_single_segment_time": 30000},
device="cuda:0",
)
# 定义asr数据模型,用于接收POST请求中的数据
class ASRItem(BaseModel):
wav : str # 输入音频
app = FastAPI()
@app.post("/asr")
async def asr(item: ASRItem):
try:
data = base64.b64decode(item.wav)
with open("test.wav", "wb") as f:
f.write(data)
res = model.generate("test.wav",
language="auto", # "zn", "en", "yue", "ja", "ko", "nospeech"
use_itn=True,
batch_size_s=60,
merge_vad=True, #
merge_length_s=15,)
text = rich_transcription_postprocess(res[0]["text"])
result_dict = {"code": 0, "msg": "ok", "res": text}
except Exception as e:
result_dict = {"code": 1, "msg": str(e)}
return result_dict
if __name__ == '__main__':
uvicorn.run(app, host='0.0.0.0', port=2002)
CUDA_VISIBLE_DEVICES=0 python speech_server.py > log.txt 2>&1 &
服务成功启动,可以发现显存只占用 1202 M,比上一篇的 FunASR
更轻量~
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 2 N/A N/A 3178377 C python 1202MiB |
+-----------------------------------------------------------------------------------------+
最后,我们来编写客户端代码:
import base64
import requests
url = "http://10.18.32.170:2002/"
def asr_damo_api(wav_path):
headers = {'Content-Type': 'application/json'}
with open(wav_path, "rb") as f:
wav = base64.b64encode(f.read()).decode()
data = {"wav": wav}
response = requests.post(url+"asr", headers=headers, json=data)
response = response.json()
if response['code'] == 0:
res = response['res']
return res
else:
return response['msg']
if __name__ == '__main__':
res = asr_damo_api("xxx/.cache/modelscope/hub/iic/SenseVoiceSmall/example/en.mp3")
print(res)
本文通过对 SenseVoice 模型的实操,带领大家快速上手语音识别模型。
希望能激发你的更多创作灵感,打造自己的 AI 助手。
如果你对本项目感兴趣,欢迎点赞收藏并分享给更多朋友!
原网址: 访问
创建于: 2025-07-24 00:46:25
目录: default
标签: 无
未标明原创文章均为采集,版权归作者所有,转载无需和我联系,请注明原出处,南摩阿彌陀佛,知识,不只知道,要得到
java windows火焰图_mob64ca12ec8020的技术博客_51CTO博客 - 在windows下不可行,不知道作者是怎样搞的 监听SpringBoot 服务启动成功事件并打印信息_监听springboot启动完毕-CSDN博客 SpringBoot中就绪探针和存活探针_management.endpoint.health.probes.enabled-CSDN博客 u2u转换板 - 嘉立创EDA开源硬件平台 Spring Boot 项目的轻量级 HTTP 客户端 retrofit 框架,快来试试它!_Java精选-CSDN博客 手把手教你打造一套最牛的知识笔记管理系统! - 知乎 - 想法有重合-理论可参考 安宇雨 闲鱼 机械键盘 客制化 开贴记录 文本 linux 使用find命令查找包含某字符串的文件_beijihukk的博客-CSDN博客_find 查找字符串 ---- mac 也适用 安宇雨 打字音 记录集合 B站 bilibili 自行搭建 开坑 真正的客制化 安宇雨 黑苹果开坑 查找工具包maven pom 引用地 工具网站 Dantelis 介绍的玩轴入坑攻略 --- 关于轴的一些说法 --- 非官方 ---- 心得而已 --- 长期开坑更新 [本人问题][新开坑位]关于自动化测试的工具与平台应用 机械键盘 开团 网站记录 -- 能做一个收集的程序就好了 不过现在没时间 -- 信息大多是在群里发的 - 你要让垃圾佬 都去一个地方看难度也是很大的 精神支柱 [超级前台]sprinbboot maven superdesk-app 记录 [信息有用] [环境准备] [基本完成] [sebp/elk] 给已创建的Docker容器增加新的端口映射 - qq_30599553的博客 - CSDN博客 [正在研究] Elasticsearch, Logstash, Kibana (ELK) Docker image documentation elasticsearch centos 安装记录 及 启动手记 正式服务器 39 elasticsearch 问题合集 不断更新 6.1.1 | 6.5.1 两个版本 博客程序 - 测试 - bug记录 等等问题 laravel的启动过程解析 - lpfuture - 博客园 OAuth2 Server PHP 用 Laravel 搭建带 OAuth2 验证的 RESTful 服务 | Laravel China 社区 - 高品质的 Laravel 和 PHP 开发者社区 利用Laravel 搭建oauth2 API接口 附 Unauthenticated 解决办法 - 煮茶的博客 - SegmentFault 思否 使用 OAuth2-Server-php 搭建 OAuth2 Server - 午时的海 - 博客园 基于PHP构建OAuth 2.0 服务端 认证平台 - Endv - 博客园 Laravel 的 Artisan 命令行工具 Laravel 的文件系统和云存储功能集成 浅谈Chromium中的设计模式--终--Observer模式 浅谈Chromium中的设计模式--二--pre/post和Delegate模式 浅谈Chromium中的设计模式--一--Chromium中模块分层和进程模型 DeepMind 4 Hacking Yourself README.md update 20211011
Laravel China 简书 知乎 博客园 CSDN博客 开源中国 Go Further Ryan是菜鸟 | LNMP技术栈笔记 云栖社区-阿里云 Netflix技术博客 Techie Delight Linkedin技术博客 Dropbox技术博客 Facebook技术博客 淘宝中间件团队 美团技术博客 360技术博客 古巷博客 - 一个专注于分享的不正常博客 软件测试知识传播 - 测试窝 有赞技术团队 阮一峰 语雀 静觅丨崔庆才的个人博客 软件测试从业者综合能力提升 - isTester IBM Java 开发 使用开放 Java 生态系统开发现代应用程序 pengdai 一个强大的博主 HTML5资源教程 | 分享HTML5开发资源和开发教程 蘑菇博客 - 专注于技术分享的博客平台 个人博客-leapMie 流星007 CSDN博客 - 舍其小伙伴 稀土掘金 Go 技术论坛 | Golang / Go 语言中国知识社区
最新评论