# 基础模型[编辑]

| 基础模型 |
| --- |
| 上级分类 | 机器学习模型  |
| 重要人物 | 米哈尔·瓦尔科  |
| 制作方法 | 预训练  |

在人工智能领域，**基础模型**（英語：foundation model，FM），也称**大规模模型**（large *x* model，LxM），是一类经过大规模数据训练、可适用于广泛下游任务的机器学习或深度学习模型。基础模型通常以自监督学习或半监督学习方式在大规模数据上进行预训练，然后通过微调或提示工程等手段适配到特定任务。生成式人工智能应用如大型语言模型是基础模型的常见例子。基础模型的构建极为资源密集——最先进的模型动辄花费数亿美元，用于获取和管理海量数据集以及训练所需的算力。相比之下，在现有基础模型上进行微调以适配特定任务的成本则远低于从头训练。

早期的基础模型包括Google的BERT和OpenAI的GPT系列。除文本外，基础模型已扩展到多种模态——包括图像方面的DALL-E、Stable Diffusion和Flamingo，音乐方面的MusicGen和LLark，以及机器人领域的RT-2。此外还有时间序列预测模型TimeGPT，以及眼科学、基因组学、代码生成和数学等领域的专业基础模型。

## 定义与术语

「基础模型」这一术语由斯坦福大学以人为中心人工智能研究所（Stanford HAI）旗下的基础模型研究中心（Center for Research on Foundation Models，CRFM）在2021年推广使用。CRFM将基础模型定义为「在广泛数据上训练、可适配到各种下游任务的任何模型」。该术语强调此类模型作为上层人工智能系统「基础」的作用——它们提供了一套通用的能力基座，而非针对特定任务设计。与「基础模型」概念相近的术语包括「大规模模型」（large *x* model，LxM，其中x为文本、图像、声音等任何模态）、大型语言模型（LLM，特指文本模态）以及「边界模型」（frontier model）——后者指能力极强、可能带来严重安全风险的前沿基础模型。欧盟人工智能法案则提出了「通用目的人工智能」（General-Purpose AI，GPAI）的概念，指可用于广泛任务的AI系统，与基础模型的定义有高度重叠。

## 历史

基础模型的发展根植于2010年代后期深度学习领域的突破性进展。transformer架构于2017年被提出，为大规模语言模型提供了核心技术基础。2018年，Google发布了BERT，OpenAI发布了GPT，标志着预训练语言模型范式的确立。

2020年，OpenAI发布了GPT-3，其1750亿参数的规模展示了规模定律（scaling laws）的效果——随着模型规模、数据量和计算量的增加，模型性能呈现可预测的提升。2021年，OpenAI发布了图像生成模型DALL-E微软推出了GitHub Copilot（基于Codex模型），将基础模型应用于代码生成。2022年，ChatGPT和Stable Diffusion相继面世，引发了公众对基础模型的广泛关注。2023年，Meta发布LLaMA系列以推动开源基础模型的发展，Mistral AI发布了Mistral 7B，Anthropic发布了Claude系列模型。2024至2025年，Gemini、GPT-4o和Claude 3.5等更强的多模态基础模型相继问世。

## 技术与架构

### 模型架构

目前大多数基础模型基于transformer架构。转换器的核心是注意力机制（attention mechanism），它使模型在处理输入序列时能够动态关注不同位置的信息。对于语言模型，常用的变体包括仅编码器架构（如BERT，适用于理解型任务）和仅解码器架构（如GPT系列，适用于生成型任务）。对于图像模型，扩散模型（diffusion model）在图像生成领域占据主导地位——通过逐步向数据添加噪声然后学习反向去噪过程来生成高质量图像。

### 训练

基础模型的训练通常分为预训练和微调两个阶段。在预训练阶段，模型在大规模未标注数据上通过自监督学习获得通用的语言或视觉表示。对于语言模型，常见的预训练目标包括下一词预测（next token prediction）和掩码语言建模（masked language modeling）。在微调阶段，预训练好的模型在较小的标注数据集上继续训练以适配特定任务。近年来，基于人类反馈的强化学习（RLHF）和指令微调（instruction tuning）被广泛应用于提升模型的有用性和安全性。

### 规模定律

研究表明，基础模型的性能与模型参数量、训练数据量和计算量之间存在可预测的幂律关系，即规模定律。这一发现推动了模型规模的快速扩张——从GPT-1的1.17亿参数增长到GPT-4的推测数万亿参数。

## 主要模型

### 文本语言模型

* BERT（Google，2018）——双向编码器表示，开创性的预训练语言模型
* GPT系列（OpenAI）——从GPT-1到GPT-4，性能逐代跃升
* LLaMA（Meta，2023）——开源高效基础语言模型
* Mistral 7B / Mixtral（Mistral AI，2023–2024）——小型高效的开源模型
* Claude系列（Anthropic，2023–2025）
* Gemini系列（Google DeepMind，2023–2025）

### 视觉与多模态模型

* CLIP（OpenAI，2021）——图像与文本的对比预训练
* DALL-E系列（OpenAI，2021–2023）——文本到图像生成
* Stable Diffusion（Stability AI，2022）——开源图像生成模型
* Flamingo（DeepMind，2022）——视觉语言模型
* Segment Anything（Meta，2023）——通用图像分割模型
* Florence（微软，2023）——通用视觉表示模型

### 其他领域

* GitHub Copilot / Codex（OpenAI，2021）——代码生成
* StarCoder（Hugging Face，2023）——开源代码语言模型
* Gato（DeepMind，2022）——通用智能体，执行600多种不同任务
* GenSLM——基因组规模语言模型
* TimeGPT（Nixtla，2023）——时间序列预测

## 应用领域

基础模型的应用已覆盖人工智能的多个领域。在自然语言处理方面，基础模型支撑着聊天机器人（如ChatGPT）、机器翻译、文本摘要、情感分析和问答系统等功能。在计算机视觉方面，视觉基础模型广泛用于图像生成、图像分割、目标检测和图像编辑等任务。在机器人学领域，RT-2等模型将视觉和语言能力转化为机器人动作指令。在科学领域，基础模型已应用于基因组学（GenSLM）、药物发现、气象预测和数学推理等多个方向。

## 问题与争议

### 成本与能耗

基础模型的训练和推理需要消耗大量计算资源和能源。训练单一大型模型可产生数百吨二氧化碳排放。高昂的训练成本也造成了资源集中——只有少数大型科技公司有能力从头训练前沿基础模型，引发了关于AI资源垄断的担忧。

### 幻觉与可靠性

大型语言模型可能产生看似合理但实际上不正确的输出，即「幻觉」问题。在缺乏可靠事实核查机制的情况下，模型输出可能传播虚假信息。这一问题在医疗、法律等高风险领域尤为严重。

### 偏见与公平性

由于训练数据中包含人类社会固有的偏见，基础模型可能继承并放大性别、种族、地域等方面的刻板印象。这引发了对AI系统公平性和包容性的广泛讨论。

### 数据隐私与版权

基础模型的训练往往涉及大规模数据采集，可能包含受版权保护的文本、图像或涉及个人隐私的信息。这引发了多起版权侵权诉讼，也推动了对训练数据合规性和模型输出溯源的研究。

### 开源与封闭

关于基础模型是否应开源引发了激烈争论。开源阵营（如Meta的LLaMA、Mistral AI）主张透明性和民主化，但开放权重模型也可能被滥用于生成有害内容或促进大规模监控。部分公司选择逐步开放策略或仅提供API访问。

### 监管与治理

各国和地区正在探索基础模型的监管框架。欧盟人工智能法案将通用目的AI（GPAI）纳入风险分级管理。多个国家成立了人工智能安全研究所。2023年，领先的AI公司联合成立了边界模型论坛（Frontier Model Forum）以推进安全研究。中国也发布了《生成式人工智能服务管理暂行办法》，对基础模型的应用进行规范。