这篇咱们浅薄聊聊大模子，像咱们纯熟的ChatGPT、文心一言、豆包等齐是大模子的哄骗。天然这篇著述本色浅薄欧洲杯体育，但这是大模子的底层硬货。聊三点：大模子是什么？其基本使命道理是什么？其参数又是什么道理？

1. 大模子是什么？

大模子全称是大规模谈话模子（英文：Large Language Model 简写：LLM），一般简称大模子。咱们说文解字每个单词分离证实：模子（Model）指这是一种东说念主工智能模子，即属于AI范畴；谈话（Language）指可长入或输出东说念主类纯熟的天然谈话；“大”指模子的参数目大（通常10亿个参数以上，10亿的单元用B暗意，通常看到什么7B等于70亿参数，14B等于140亿参数。面前像OpenAI的GPT-4、华为盘古、百度文心等大模子其参数目已达上万亿参数）。

2.大模子基本使命道理是什么？

浅薄来说，等于本系列之前的著述——《东说念主工智能AI的100问之04：AI的贤慧来自那儿？》

大模子使命道理亦然来自三大成分:算力、算法、数据。

算法：

现时大多半大模子的算法均是来自Transformer（Transformer 是以自详实力机制为中枢的深度学习神经汇集模子。后期著述会成心先容）。

数据：大模子的数据哄骗最渊博，因为大模子的就奔着向东说念主类这种通用智能体的标的发展的。其“泛化”性至极高。其侦查数据不错说面前天下上能赢得到数据的全集。短短几年间，听说面前能赢得的数据齐被大模子学习罢了，大模子学习出现了“数据荒”，面前有公司提议了独一让大模子学习大模子生成的二次数据了。

算力：等于咱们面前齐在争抢的GPU资源。面前咱们看到英伟达赚得阿谁姿色，3万亿好意思元市值，说真话等于大模子的“侦查”将他推高的。

3.大模子的参数是什么？

面前大模子发布时，其公司齐会瑰丽一个卓绝的规格，等于其参数目是几许？来显现其智商和贤慧流程的大小，从某种流程上，二者真实成正比相关。

大模子不错浅薄的看是一个输入输出的函数，如上图所示，这不错作为一个大模子的最小的逻辑管制单元，其参数等于权重，或长入成一种开关，大模子针对用户输入的本色，通过上亿个开关的协同协作，将所“学习”的数据进行组合，输出较为合理的谜底。是以，可见参数几许对输出本色质料相关很大。下图是管制单元更多更复杂的结构，感知一下。

不错再对比一下咱们大脑的神经元，是否很雷同?是的，AI的结构等于模拟大脑神经系统欧洲杯体育，是以大多半AI的里面结构齐称为“神经汇集”。咱们东说念主类大脑有百亿个神经元，与大模子有上百亿个参数的说法和量级有些不谋而合之妙。

发布于：北京市