分享好友 最新动态首页 最新动态分类 切换频道
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
2024-12-28 06:45

阿里云向量检索 Milvus 版是一款云上全托管服务,确保了与开源Milvus的100%兼容性,并支持无缝迁移。在开源版本的基础上增强了可扩展性,能提供大规模 AI 向量数据的相似性检索服务。相比于自建,目前阿里云Milvus具备易用性、可用性、安全性、低成本与生态优势。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,阿里云Milvus 云服务成为多样化 AI 应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的 Attu 工具进行可视化操作,进一步促进应用的快速开发和部署。

通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统

本文介绍如何通过整合阿里云向量检索服务Milvus版、阿里云百炼DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。

  • 已创建Milvus实例。

进入阿里云Milvus页面(https://www.aliyun.com/product/milvus),登录阿里云Milvus控制台(https://milvus.console.aliyun.com/#/overview)。并在左侧导航栏,单击Milvus实例,并继续创建实例

  • 已开通PAI(EAS)并创建了默认工作空间。

登录PAI控制台(https://pai.console.aliyun.com),在左上角选择需要开通的地域后,进行认证、授权并开通服务,待开通成功后,便可进入控制台进行AI开发。

  • 已开通百炼服务并获得API-KEY。

登陆阿里云百炼大模型服务平台(https://bailian.console.aliyun.com),在页面右上角的下拉菜单中单击API-KEY,进行创建。

  • Milvus实例和PAI(EAS)须在相同地域下。
  • 请确保您的运行环境中已安装Python 3.8或以上版本,以便顺利安装并使用DashScope。

该方案架构如下图所示,主要包含以下几个处理过程:

  • 知识库预处理:您可以借助LangChain SDK对文本进行分割,作为Embedding模型的输入数据。
  • 知识库存储:选定的Embedding模型(DashScope)负责将输入文本转换为向量,并将这些向量存入阿里云Milvus的向量数据库中。
  • 向量相似性检索:Embedding模型处理用户的查询输入,并将其向量化。随后,利用阿里云Milvus的索引功能来识别出相应的Retrieved文档集。
  • RAG(Retrieval-Augmented Generation)对话验证:您使用LangChain SDK,并将相似性检索的结果作为上下文,将问题导入到LLM模型(本例中用的是阿里云PAI EAS),以产生最终的回答。此外,结果可以通过将问题直接查询LLM模型得到的答案进行核实。
  1. 进入模型在线服务页面。
  1. 登录PAI控制台(https://pai.console.aliyun.com/)。
  2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
  3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务(EAS),进入模型在线服务(EAS)页面。
  1. 模型在线服务页面,单击部署服务
  2. 部署服务页面,选择大模型RAG对话系统
  3. 部署大模型RAG对话系统页面,配置以下关键参数,其余参数可使用默认配置,更多参数详情请参见大模型RAG对话系统(https://help.aliyun.com/zh/pai/user-guide/deploy-a-rag-based-dialogue-system)。
  1. 单击部署

服务状态变为运行中时,表示服务部署成功。

  1. 获取VPC地址调用的服务访问地址和Token。
  1. 单击服务名称,进入概览页面。
  2. 基本信息区域,单击查看调用信息
  3. 调用信息对话框的VPC地址调用页签,获取服务访问地址和Token,并保存到本地。
  1. (可选)在ECS控制台创建并启动一个开通公网的ECS实例,用于运行Python文件,详情请参见通过控制台使用ECS实例(快捷版)(https://help.aliyun.com/zh/ecs/getting-started/create-and-manage-an-ecs-instance-by-using-the-ecs-console)。

您也可以在本地机器执行Python文件,具体请根据您的实际情况作出合适的选择。

  1. 执行以下命令,安装相关依赖库。
  1. 执行以下命令,创建文件。

文件内容如下所示。

以下参数请根据实际环境替换。

  1. 执行以下命令运行文件。

返回如下类似信息。

  • 更多关于Milvus的介绍,请参见什么是向量检索服务Milvus版(https://help.aliyun.com/zh/milvus/product-overview/what-is-the-vector-retrieval-milvus-version)。
  • Milvus最新动态:
  • 预付费包年折扣:1年85折、2年7折、3年5折;
  • 产品动态:

如有疑问,可加入向量检索 Milvus 版用户交流钉群59530004993咨询。

最新文章
独立站搭建费用解析,从零到有,你的预算是多少?
在数字营销的今天,拥有一个独立的网站对于许多企业和个人来说是一个必不可少的步骤。但是,对于初次涉足网站建设的人来说,最关心的问题之一就是:rdquo;独立站搭建要多少钱一个?rdquo; 这个问题的答案并不简单,因为它涉及到多个方面的
淘宝88vip客服工作范围,那些你不知道的点
对于淘宝平台,我们是再熟悉不过了。也有很多淘宝的忠实用户们加入了淘宝88vip会员,因为88vip用户能享受更大力度的优惠外,专属的淘宝88vip客服也给用户们提供了更优质的服务体验。今天,我们就来聊聊淘宝88vip客服。作为沟通用户和商家之
苹果xsmax屏幕录制怎么设置出来(苹果xsmax屏幕录制怎么设置)
苹果xsmax屏幕录制怎么设置出来(苹果xsmax屏幕录制怎么设置): 文章标题:苹果xsmax屏幕录制怎么设置出来(苹果xsmax屏幕录制怎么设置)本文地址:http://dns2.ynzslm.com/show-350129.html
余承东也没料到,Mate70 Pro开售后,另一款华为手机却卖爆了!
余承东也没料到,Mate70 Pro开售后,另一款华为手机却卖爆了!在看这篇文章之前,笔者想问大家一个问题,就是你买到华为Mate70 Pro了么?相信很多用户和笔者一样,还在继续抢购华为Mate70 Pro,因为它实在太火了,确实很难买到啊。根据最新
人类只需提出要求,AI帮你自动编程——Cursor AI开发教学游戏经验分享(林木木)
AI是知识工作者的挖掘机,大幅提升教学与科研生产力。#ai 王珏老师AIGC教育应用文章集锦————————————————大模型时代,为很多专业的事情大幅降低了门槛!这使得很多事情,不再需要专业技能、大量训练只要有想法、有需求、有
宁波企业互联网发展利器,专业SEO整站优化方案
本方案旨在为宁波企业提供全方位SEO整站优化服务,通过专业策略和优化技术,显著提升网站在搜索引擎中的排名,进而助力企业实现互联网业务的快速发展。随着互联网的飞速发展,越来越多的企业开始意识到网络营销的重要性,作为我国东南沿海
胜利石油工程 固井计量系统革新 让油井实现长周期开发
彭大为闵文龙近日,胜利石油工程公司申报的“固井流体在线监测及预警系统研究与应用案例”成功入选2024年全国“计量促进新质生产力发展”典型案例。这一案例不仅为国内石油工程行业树立了典范,也为计量技术在新质生产力发展中的应用提供了
百度快排SEO优化秘诀,快速提升网站排名之道
百度快排SEO优化策略揭秘:优化关键词布局,提高内容质量;构建高质量外链,提升网站权重;优化网站结构,提升用户体验;定期更新内容,保持活跃度。掌握这些技巧,助您快速提升网站排名。随着互联网的快速发展,搜索引擎优化(SEO)已经成
详解百度手机输入法“搜索框”的秘密
12voidCreateMenuButtonOnDesktop()3{4HWNDhwndMB=::SHFindMenuBar(GetDesktopWindow());5::GetWindowThreadProcessId(hwndMB,m_pID);//pID就是进程ID6EnumWindows(EnumWindowsProc,NULL);7}89BOOLCALLBACKEnumWindowsProc(HWNDhwnd,LPARAM
漫蛙漫画官方版正版
漫蛙漫画官方版正版是一款专门为喜欢看漫画的用户打造的漫画神器。该软件体积小巧、页面简洁,收录了超多正版漫画资源,软件分类清新,包括都市、少女、冒险、科幻、悬疑等题材漫画,满足不同用户的需求。并且该软件具有首页推荐功能,用户
相关文章
推荐文章
发表评论
0评