分享好友 最新动态首页 最新动态分类 切换频道
音频大模型 FunAudioLLM 上线基石智算 青云科技 旗下 AI 算力云服务
2024-12-27 10:27

来源:雪球App,作者: 青云科技,(https://xueqiu.com/8690072890/316474072)

音频大模型 FunAudioLLM 上线基石智算 青云科技 旗下 AI 算力云服务

旗下 AI 算力云服务——基石智算 CoresHub 将 AI 算力云与模型开发部署服务完美融合,致力于为开发者打造完整的 AI 应用落地生态。对于初涉开发的用户而言,平台支持多模态模型及应用的一键启动,为众多 AI 爱好者赋予强大能量。目前,平台已推出文本类、文生图、文生视频、语音转换等模型,且支持一键启动、一键部署以及在线微调,助力用户打造专属 AI 应用。

本期,将为大家详细呈现基于基石智算 CoresHub 平台的 FunAudioLLM 模型使用教程。

FunAudioLLM 模型介绍

FunAudioLLM 是通义实验室推出的一款开源语音大模型,它包含两个核心模型:SenseVoice 和 CosyVoice 。SenseVoice 专注于多语言语音识别、情感辨识和声音事件检测,支持超过 50 种语言,尤其在中文和粤语的识别上表现优异,准确率提升超过 50%。它还能够识别多种情绪和交互事件,如音乐、掌声、笑声、哭声等。CosyVoice 则擅长语音合成,能够根据少量原始音频快速生成模拟音色,包括韵律和情感细节,并支持跨语言合成。

FunAudioLLM 的应用场景非常广泛,如语音到语音翻译、情感语音对话、互动播客和有声读物等。例如,在语音到语音翻译场景中,它可以将中文语音翻译成英文语音,同时保留原说话人的音色和情感色彩。在情感语音对话中,它可以与用户进行带有情绪色彩的交互,提升用户体验。此外,它还可以用于制作互动播客和有声读物,提供丰富多彩的听觉体验。

语音翻译:将输入语音翻译成目标语言,并使用目标语言生成语音。

情感语音聊天:识别输入语音的情绪和音频事件,并生成与情绪相符的语音。

交互式播客:根据实时资讯、知识等内容生成播客脚本,并使用 CosyVoice 合成语音。

有声读物:分析文本中的情感和角色,并使用 CosyVoice 合成具有丰富情感的有声读物。

在 coreshub.cn 上的使用方式

CosyVoice 模型使用

1. 创建容器实例。

2. 选择资源与镜像 FunAudio 下的 CosyVoice 模型(推荐选择 1 卡 3090 )。

3. 创建好容器实例后,选择更多访问,点击端口 9001,进入 WebUI 界面。

4. 根据页面操作提示可以使用不同的功能生成音频。

预训练音色:使用模型本身预训练音色,按照输入文本生成音频;

【基石智算是旗下的 AI 算力云服务平台,为用户提供一站式模型开发训练一体化服务】

3s 极速复刻:上传自己的音频文件或在线录制音频,模型会根据你的音频训练出相同音色,输入 prompt 文本,就可以使用你的音色读出文字了;

跨语种复刻:将你上传的普通话音频,转变成粤语、日语、英语等;

自然语言控制:可在语音中添加自然的笑声,喘气、生气等语气。

注意:使用自然语言控制功能时,需要更换模型,重新创建实例,选择 FunAudioLLM 中的 CosyVoice-300-instruct 使用。

SenseVoice 模型使用

同样创建容器实例,选择资源,但在选择应用镜像时,选择 FunAudioLLM 中的 SenseVoice 模型。以同样方式进入 WebUI 界面,使用流程与 CosyVoice 相同。

最新文章
排列三2023119期正藏机图诗汇总
119期:体一位培训再上岗二位心软莫掌权三位竹签与牛肚和值:谮忌语:剪影看不出丑来118期:体一位总参和总政二位飞刀有预谋三位纪念白求恩和值:京忌语:送往迎来阿庆嫂117期:体一位五岳看嵩山二位飞鱼浪里钻三位嫁给周公瑾和值:财忌语:二
极简图床 + 阿里云OSS 做图片外链
Typora图床搭建阿里云OSS的步骤如下:1. 首先,登录阿里云账号并打开OSS控制台。2. 创建一个新的存储空间(bucket),用于存放Typora上传的图片。3. 在存储空间(bucket)设置中,找到权限管理,确保该存储空间(bucket)的访问权限设置为公共读
网站降权半年终于逐渐恢复排名(爱搜博客SEO总结)
大家也应该关注到本博客网站最近的seo增长变化,正如本文标题所示爱搜博客网站被百度降权半年至今终于逐渐恢复排名,本文就把整个网站降权过程总结归纳成seo优化经验分享给各位seo同行朋友。一直以来本博客都是有比较高权重值的,最高达到
用AI生成超逼真美女写真,体验最新AI绘图神器!
步骤3: 提供描述在相应的文本框中写下你想生成的形象描述,比如发型、表情、穿着等等,越详细的描述会使生成结果更加符合你的期望。步骤4: 调整参数根据个人喜好,可以调整图像的风格、色调、细节等参数。若不确定,可以直接使用系统推荐的
美国监管机构寻求分拆bb0,迫使谷歌出售Chrome
MICHAEL LIEDTKE,美联社科技撰稿人美国监管机构希望一名联邦法官分拆谷歌,以防止该公司继续通过其占主导地位的搜索引擎压制竞争。此前一家法院发现,谷歌在过去十年中一直处于滥用垄断地位。美国司法部(Department of Justice)周三晚间
打击利用AI仿冒名人营销!微信已关闭账号209个
转自:北京日报客户端12月15日,腾讯官方平台“微信珊瑚安全”公众号发布公告。据悉,微信平台打击了一批利用AI仿冒知名人士进行不当营销、恶意博取流量的违规行为,截至目前,累计处置内容532条,关闭账号209个。伴随AI技术的飞速发展,互
直通车时间溢价人群折扣怎么算?时间折扣设置原则是什么?
直通车相信各位商家应该都是知道的,因为作为推广方式,直通车是被大家使用的比较多的,但是有极大一部分商家只是盲目的跟风,对于直通车车并不了解,那么直通车时间溢价人群折扣怎么算呢? 一、直通车时间溢价人群折扣怎么算? 1、淘宝直通
UAndroidTool安装了打不开 uandroidtool登录不了
测试android模拟器上网问题,搜索网络发现4中处理解决方法 本人在家测试,不用任何处理直接可以浏览自带浏览器以及自己下载的赶集网应用程序。 公司网络不知道为什么,询问过网络管理员,给的答复是没有使用过代理服务器,网上很多帖子也说
璟雲里别墅房价-上海青浦璟雲里2025官网-璟雲里百度百科-评测!
璟雲里别墅房价-上海青浦璟雲里2025官网-璟雲里百度百科-评测!“璟雲里”二期毫不夸张的说,“璟雲里”二期从地段站位、生态环境、价值潜力、配套资源、产品力等全方位领先的新房项目。俗话说“人生有别,一墅为界”!但,居可求,墅难得
相关文章
推荐文章
发表评论
0评