分享好友 最新动态首页 最新动态分类 切换频道
LLM大模型基础知识学习总结2024年最新版
2024-12-26 21:06

在这个已经被大模型包围的时代,不了解一点大模型的基础知识和相关概念,可能出去聊天都接不上话。刚好近期我也一直在用ChatGPT和GitHub Copilot,也刚好对这些基础知识很感兴趣,于是看了一些科普类视频和报告,做了如下的整理总结,分享与你

前排提示,文末有AI大模型CSDN独家籽料包哦

一句话描述GPT

GPT全称Generative Pre-Training Transformer,即三个关键词生成式 预训练 变换模型

GPT模型通过在大量数据上学习到的语言模式,预测下一个(token,生成自然语言文本。

大模型的6大关键技术

  • 大模型

类似于人类的大脑,通过思考和规划来完成任务

  • Prompt(提示词工程

类似于人类的沟通,上级通过布置任务来让下级完成一项任务

  • RAG(检索增强生成

类似于人类想要暂时完成一件任务,但是这件任务暂时不会做。例如马上要大学期末考试了,我们需要临时抱佛脚突击一周,以求得考试及格分数,但是考完试以后,这些知识就忘得一干二净了。又或者说它也类似于大学期末的开卷考试,反正知识点都在书里,你平时都没学过,得先找一找,找到了就把相关答案写在试卷上,考完了还是忘得一干二净,但是你的目标达到了:考试及格60分万岁

  • Fine-tunig(微调

类似于人类想要彻底学会一个技能,例如想要学会大模型的技术,我们需要通过系统的培训以及通过实战去真正的掌握大模型技术。

  • Function Calling(函数调用

类似于人类使用工具完成一件任务,例如想要查询成都的天气情况,我们要么直接打开天气预报的App,要么直接在百度上搜索,总之是通过工具来完成这件事。

  • Agent

类似于人类通过沟通、分工和协作来完成一件复杂的任务,通常会结合使用到上面提到的五个技术来完成任务,而且大模型时代的Agent也不是单兵作战而是多个Agent之间合作来完成任务。例如想要开发一个客服项目,需要产品经理Agent、架构师Agent、开发者Agent、测试者Agent、运维Agent 和 项目管理Agent 像人类一样去沟通协作,最后才能把这个项目自动地完成。

知识问答的3种主要方式

(1大模型直答

最常见的方式:直接向LLM提问,LLM给出回答。

(2大模型微调(Fine-Tuning

首先,将企业私有知识加给通用大模型进行微调形成私有大模型;然后,再将问题给到私有大模型进行回答。

(3大模型RAG(检索增强生成

首先,对企业的知识库进行检索得到相关的知识片段;然后,将知识片段和原问题组合成新的提示词发给通用大模型得到回答

3种方式的效果对比

方式

外在幻觉

领域知识

实时信息

可溯源

成本

直答

微调

RAG

总结:在企业落地知识问答库时,如果为了追求成本和回答准确度推荐使用RAG方案

AI Agent到底是什么

首先,在产品层面AI Agent是AGI时代新的应用形态

这其实是应用形态的演进:在AGI时代之前是移动互联网时代,它的产品形态是APP。在进入AGI时代后,产品形态变为了AI Agent。

未来现有的部分高级程序员写的应用就不再会是App,而是AI Agent了

其次,在技术层面面向过程架构 → 面向目标架构 的转变(也称为:软件架构的范式迁移

比如,在App时代写一个用户系统,需要把整个用户从注册到登录再到注销,一步一步地把整个流程结合if-else把它开发出来。这个生成的过程我们叫做面向过程的架构,需要预定义指令、逻辑和规则

但是,在AI Agent时代,很多情况下不需要把这些指令一个一个地指出来,只需要一句话就行了,比如说提供一个prompt“请帮我完成一个用户系统,它包含用户注册、登录、查询等功能”,然后大模型就会帮你去完成。这个生成的过程我们叫做面向目标的架构,具有目标导向和动态规划的特点,由AI Agent自主生成。

大模型和Agent有啥区别

Agent会在大模型的推理结果基础之上使用一些工具(如调用API)完成某个特定的任务,这个技术也被称为Function Calling(函数调用)。

当下大模型的参数量提升AI Agent的理解力和泛化能力,使其能够更好地处理多种任务和上下文信息,这增强了AI代理的自然语言处理能力,从而提供更加个性化、连贯的交互体验,是当下Agent的构建关键

总结:大模型时代下的 AI Agent = LLM × (规划+记忆+工具+行动)

AI Agent的应用场景通常与特定任务或环境紧密相关。例如,在智能家居系统中,AI Agent可以根据用户的生活习惯和偏好自动调节家庭设备的运行状态。在游戏中,AI Agent能够提供具有挑战性的对手或复杂的游戏环境动态。

Agent架构的核心流程

Agent架构有三个重要的模块规划 模块(Planning)、 执行 模块(Action) 和 观察 模块(Observation,如下图所示

举个例子,假设我们有一个prompt“请用python画一个圆心”。

首先,在规划模块,Agent会将这个需求拆解为三个子项:写Python代码、调用IPython解释器、调用Docker运行环境

其次,在执行模块,Agent会分别执行拆解的事项,也就是去调用各种工具

最后,在观察模块,Agent会对每一步的执行结果做观测,如果check完毕没问题,就给到用户最终的答案。如果觉得有问题,比如执行的过程中出现了Timeout之类的错误,就会做一些Retry的操作。如果Retry次数超过了最大重试次数,这时候就可能会把这个进程Kill掉,然后重新进入规划模块重新规划。

在这三个模块或者说能力中,最重要的当属规划模块

大模型和程序员的关系

(1)目前ChatGPT对程序员到底有哪些实质性的帮助

第一点:Code Review

ChatGPT能够理解代码,并针对代码给出针对性的建议和优化方案

第二点:写测试用例、单元测试、集成测试等,这些ChatGPT都很擅长

第三点:对线上问题的定位和分析

线上问题的各种疑难杂症,ChatGPT都能胜任

第四点:SQL的翻译

实现两种数据库的SQL语言转换,比如将Oracle的SQL脚本转换成MySQL的SQL脚本。

(2)有了AI编程,还需要程序员吗

第一,在冯诺依曼架构体系下,程序需要的是确定性计算

第二,由于大模型本身的概率性,目前大模型生成的代码还具备一定的随意性和不确定性

第三,目前大模型更擅长的是一些抽象层次比较低的工作,比如一段代码或一个算法的实现,写一个单元测试等等。而一些抽象层次比较高的工作,比如需求分析、架构设计、领域设计、架构选型等,这些工作反而是大模型不擅长的,而这些工作是比较具备有竞争力的,这恰恰是一些高级程序员以及系统架构师的价值所在。

(3)应用实践AIGC有几层境界

第一层境界:简单对话

通过ctrl-c/v出结果,人人都会。

第二层境界:系统掌握Prompt Engineering

通过系统掌握好提示词工程,真正赋能工作提效。

第三层境界:将AIGC融入业务流程,指挥AIGC完成复杂的任务

通过掌握AIGC的技能,并完成业务领域知识的深入结合。

第四层境界:拥有自己的大模型

熟悉大模型的架构原理,通过开源大模型微调,最好能够拥有一定的行业数据壁垒。

第五层境界:参与设计训练大模型

比如从事ChatGPT等研发工作。

目前,Edison还处于第二层即提示词工程,我们整理了很多针对SDLC(软件开发生命周期)过程中的经典场景的提示词模板来做提效。

那么,你处于哪一层呢

(4)如何掌握AI大模型开发技能

第一步:掌握开发AGI时代新应用程序的技能

比如:大模型应用内核、LangChain开发框架、向量数据库等

第二步:搞定开发企业级AI Agent的应用技能

比如:AI Agent、大模型缓存、算力等

第三步:驾驭开发企业级专有大模型的技能

比如:RAG、微调等

第四步:深入应用大模型技术成为开发大师

比如:大模型预训练、LLMOps等

小结

大模型应用开发学习实践之路漫漫,我们IT开发者也会逐渐从Application的开发转向Agent的开发的范式的转变,一起加油吧

“最先掌握AI的人,将会晚掌握AI的人有竞争优势,晚掌握AI的人比完全不会AI的人竞争优势更大”。 在这个技术日新月异的时代,不会新技能或者说落后就要挨打。

老蓝我作为一名在一线互联网企业(保密不方便透露)工作十余年,指导过不少同行后辈。帮助很多人得到了学习和成长。

我是非常希望可以把知识和技术分享给大家,但苦于传播途径有限,很多互联网行业的朋友无法获得正确的籽料得到学习的提升,所以也是整理了一份AI大模型籽料包括:AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、落地项目实战等 免费分享出来。

首先是建议零基础的小伙伴通过视频教程来学习,其中这里给大家分享一份与上面成长路线&学习计划相对应的视频教程。文末有整合包的领取方式

当然,当你入门之后,仅仅是视频教程已经不能满足你的需求了,这里也分享一份我学习期间整理的大模型入门书籍籽料。文末有整合包的领取方式

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。文末有整合包的领取方式

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。文末有整合包的领取方式

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。文末有整合包的领取方式

最新文章
晋城13家正规司法亲子鉴定机构地址排名名单(附2025机构地址)
晋城的司法亲子鉴定中心具体位置在哪里?晋城的司法亲子鉴定中心具体位置在晋城市城区白水东街。作为一种科学的鉴定方法,亲子鉴定为许多家庭提供了亲属关系的确切信息。它不仅帮助解决家庭内部的疑问,还在司法和移民等重要领域扮演着关键
必看教程“微乐家乡麻将万能开挂器通用版”其实确实有挂
亲,微乐家乡麻将万能开挂器通用版有没有挂这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别好,总是好牌,而且好像能看到-人的牌一样。所以很多小伙伴就怀疑这款游戏是不是有挂,实际上这款游戏确实
防骗升级:微软Edge浏览器新AI功能来袭,助你安全上网
近日,根据知名博主Leopeva64的消息,微软正在测试一款名为“ScarewareBlocker”(恐吓软件拦截器)的新功能,该功能将集成到Edge浏览器中,旨在利用AI技术帮助用户识别和拦截潜在的科技诈骗。这一消息引起了广泛关注,尤其是在当前网络犯
国外永久免费crm系统:国外无收费限制的CRM系统推荐:解锁独特美味新秘籍
什么是CRM系统?CRM系统指的是客户关系管理系统,旨在帮助企业有效管理客户信息、建立客户关系、提升销售业绩。通过CRM系统,企业可以跟踪客户的需求、偏好,提供个性化的服务,从而提高客户满意度,促进业务增长。国外永久免费CRM系统在国
青年教工团支部开展“领略智能化工,凝聚青春活力——化工与教育青春对话”主题团日活动
随后双方青年共同前往二桥湿地公园开展露营团建活动。我校青年教工团支部成员和扬子石化电仪中心成员通过交叉分组进行四轮破冰游戏,从而加深了解,促进友谊与合作。02内容指导:陈晴君内容审核:郑康声明:图文素材均来源于公开资料或互联
胡莱三国4 云手机多开挂机
《胡莱三国4》用兵有技巧,征战没烦恼!不肝的SLG手游!胡莱三国4云手机游戏软件可以大大提高您的挂机搬砖效率:多多云手机完全模拟真实手机环境,每一台专业云手机都是独立手机系统,允许用户在云手机里安装游戏、应用,24小时挂机托管!
小米YU7提前曝光:AI座舱设计背后的挑战与创新
小米近期在电动车领域的动态引发广泛关注,尤以其新款车型YU7的提前亮相为焦点。根据小米官方的信息,YU7已成功登记于工信部目录,预测将在2024年6至7月之间正式上市。这一进展不仅突显了小米在汽车市场的雄心,也标志着其在智能化和用户体
未来科技风潮深度探究十大高科技行业的创新趋势与商业机遇
未来科技风潮:深度探究十大高科技行业的创新趋势与商业机遇随着技术的飞速发展,全球范围内出现了众多高科技产业,这些行业不仅推动了经济增长,还极大地改变了人们的生活方式。以下是对十大高科技行业的一种分类和分析,其中包含了人工智
用Python爬虫技术怎么挣点小钱,这四种方法可行_python爬虫怎么挣钱
提醒:抓取的数据如果要商业化,要小心知识产权问题噢。还要提醒一点:抓取和处理这些数据的代价要小于人工处理的代价,使用爬虫代替人工才有价值。 我利用Python爬虫技术赚点小钱方式,在正式聊Python爬虫
怎么优化SEO?教你4步提高排名
怎么优化SEO?教你4步提高排名如果你想提高你的网站在搜索引擎结果页中的排名,那么你需要关注SEO。SEO搜索引擎优化指的是优化你的网站,以便更好地满足搜索引擎算法中的需求。在本文中,我们将为您介绍4个步骤,以帮助您提高SEO排名。第一
相关文章
推荐文章
发表评论
0评