Today，人工智能技术快速发展和广泛应用已经引起大众的兴趣和关注了。特别是作为人工智能重要分支的深度学习，展现出独有的统治力，引领了一场科技革命。作为一名刚毕业的本科生，本身对人工智能感兴趣的我也选择加入这场浪潮中，开坑系列博客，同时作为自己的学习笔记，希望自己能吃透AIGC和AI大模型，探寻一条到AGI的朝圣之路。
首先说明一下AIGC、AI大模型和AGI三个名词的解释，正所谓知其然，才知其所以然。
- AIGC：全名“AI Generated Content”，称为“生成式AI”。由AI自动创作生成的内容，例如AI文本续写，文字转图像的AI图、AI数字化主持人等，都属于AIGC的范畴。
- AI大模型：全名“AI Large Models”,是指具有大量参数和复杂结构的人工智能模型,AI大模型训练需要巨大的计算资源和复杂的分布式系统支持。
- AGI:全名"Artificial General Intelligence",AGI 指的是通用人工智能，也称为强人工智能。AGI旨在实现像人类一样的通用智能，能够在各种不同领域进行学习和推理，并具备类似人类的认知能力。
让我们先吃透AIGC吧~
1950年图灵提出了图灵测试，他主张用这个测试来判断计算机是否具有“智能”。所谓图灵测试就是隔墙相问，不知道与你对话的是人还是机器。
2020年6月：如今生成扩散模型的大火，始于2020年加州伯克利大学提出了DDPM (Denoising Diffusion Probabilistic Model)模型，虽然也用了“扩散模型”这个名字，但事实上除了采样过程的形式有一定的相似之外，DDPM与传统基于朗之万方程采样的扩散模型可以说完全不一样，这完全是一个新的起点、新的篇章。
2021年: OpenAI开源了新的深度学习模型CLIP (Contrastive Language-Image Pre-Training)，当时最先进的图像分类人工智能。CLIP训练AI同时做了两个事情，一个是自然语言理解，一个是计算机视觉分析，是不是有了多模态的味道了哈哈哈。它被设计成一个有特定用途的能力强大的工具,那就是做通用的图像分类, CLIP可以决定图像和文字提示的对应程度,比如把猫的图像和猫这个词完全匹配起来。
我就主观的精选一些AI前沿的英文名词，便于自己学习理解。
AI（人工智能）：Artificial Intelligence,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是新一轮科技革命和产业变革的重要驱动力量。
Agent（智能体） ：等同于一个设置了一些目标或任务，可以迭代运行的大型语言模型。这与大型语言模型（LLM）在像ChatGPT这样的工具中“通常”的使用方式不同。在ChatGPT中,你提出一个问题并获得一个答案作为回应。而Agent拥有复杂的工作流程,模型本质上可以自我对话,而无需人类驱动每一部分的交互。
Alignment（对齐）：人工智能对齐是指引导人工智能系统的行为，使其符合设计者的利益和预期目标。一个已对齐的人工智能的行为会向着预期方向发展；而未对齐的人工智能的行为虽然也具备特定目标，但此目标并非设计者所预期。
Attention（注意力）：注意力机制是上世纪九十年代，一些科学家在研究人类视觉时，发现的一种信号处理机制。人工智能领域的从业者把这种机制引入到一些模型里，并取得了成功。在神经网络的上下文中，注意力机制有助于模型在生成输出时专注于输入的相关部分，用来自动学习和计算输入数据对输出数据的贡献大小。
COT（思维链提示）：Chain-of-thought是一种允许大型语言模型(LLM)在给出最终答案之前通过一系列中间步骤解决问题的技术。思路链提示通过模仿思路的推理步骤诱导模型回答多步骤问题，从而提高推理能力。它允许大型语言模型克服一些需要逻辑思维和多个步骤来解决的推理任务的困难，例如算术或常识推理问题。
Emergence（涌现）：这是一种现象，当孤立的每个能力被以某种方式突然组织起来的时候，却爆发出很强大的能力。换句话说就是，许多小实体相互作用后产生了大实体, 而这个大实体展现了组成它的小实体所不具有的特性。涌现在整合层次和复杂系统理论中起着核心作用。例如,生物学中的生命现象是化学的一个涌现，量变引起质变。
Fine-Tuning（微调）：微调是迁移学习的一种常用技术。目标模型复制了源模型上除掉了输出层外的所有模型设计及其参数，并基于目标数据集微调这些参数。微调在自然语言处理(NLP)中很常见，尤其是在语言建模领域。像OpenAI的GPT这样的大型语言模型可以在下游NLP任务上进行微调，以产生比预训练模型通常可以达到的更好的结果。
Generalization ability（泛化能力）：在机器学习中，一个模型的泛化能力是指其在新的、未见过的数据上的表现能力。
Hallucinate（幻觉）：在人工智能的背景下，幻觉是指模型生成的内容不是基于实际数据或与现实明显不同的现象。
Instruction Tuning（指令调优）：机器学习中的一种技术，其中模型根据数据集中给出的特定指令进行微调。
Knowledge Distillation（数据蒸馏）：数据蒸馏旨在将给定的一个原始的大数据集浓缩并生成一个小型数据集，使得在这一小数据集上训练出的模型,和在原数据集上训练得到的模型表现相似.数据蒸馏技术在深度学习领域中被广泛应用,特别是在模型压缩和模型部署方面。它可以帮助将复杂的模型转化为更轻量级的模型，并能够促进模型的迁移学习和模型集成，提高模型的鲁棒性和泛化能力。
LLM大语言模型（Large Language Model）：大语言模型是由具有许多参数(通常为数十亿或更多权重)的神经网络组成的语言模型,使用自监督学习或半监督学习对大量未标记文本进行训练。
Multimodal（模态）：在人工智能中，这是指可以理解和生成多种类型数据（如文本和图像）信息的模型。
Parameters（参数）：在机器学习中，参数是模型用于进行预测的内部变量。它们是在训练过程中从训练数据中学习的。例如，在神经网络中，权重和偏差是参数。
Prompt Engineering（提示工程）：它是人工智能中的一个概念，特别是自然语言处理(NLP)。 在提示工程中，任务的描述会被嵌入到输入中。提示工程的典型工作方式是将一个或多个任务转换为基于提示的数据集,并通过所谓的"基于提示的学习(prompt-based learning) "来训练语言模型。
RLHF（基于人类反馈的强化学习）：Reinforcement Learning from Human Feedback在机器学习中，人类反馈强化学习（RLHF）或人类偏好强化学习 是一种直接根据人类反馈训练"奖励模型"并将该模型用作奖励函数以使用强化学习优化代理策略的技术。
Reinforcement Learning（强化学习）：它是机器学习中的一个领域,强调如何基于环境而行动,以取得最大化的预期利益。强化学习是除了监督学习和非监督学习之外的第三种基本的机器学习方法。
Vector Database（向量数据库）：向量数据库(Om-iBASE)是基于智能算法提取需存储内容的特征,转变成具有大小定义、特征描述、空间位置的多维数值进行向量化存储的数据库,使内容不仅可被存储，同时可被智能检索与分析。
01.人工智能时代已经开始 | 盖茨笔记
预计用时7分钟
03.【渐构】万字科普GPT4为何会颠覆现有工作流；为何你要关注微软Copilot、文心一言等大模型
预计用时50分钟
介绍了ChatGBT的底层原理、训练方式、未来影响和应对方法，up讲的通俗易懂，而且逻辑很清晰，剖析的很perfect，同时还强调了其不是搜索引擎和聊天机器人的区别，以及其对社会的影响和未来的竞争力。
04. 独家 | 解析Tansformer模型—理解GPT-3, BERT和T5背后的模型（附链接）
预计用时10分钟
05.OpenAI：GPT最佳实践（大白话编译解读版）
预计用时40分钟
OpenAI大牛Andrej Karpathy（OpenAI创始团队成员，原特斯拉AI部门负责人）刚在BUILD2023大会上做了这个主题演讲 “State of GPT”，详细讲述了如何从一个基础模型训练成ChatGPT的过程。通俗易懂，内容精彩至极！
原地址：https://build.microsoft.com/en-US/sessions/db3f4859-cd30-4445-a0cd-553c3304f8e2
B站upWeb3天空之城精翻：https://www.bilibili.com/video/BV1ts4y1T7UH/