小样本学习

小样本学习（few-shot learning，简称：FSL）6-9是机器学习中研究如何让模型在只有少量标注样本的条件下学习新类别、新任务或新概念的方法与问题设置。与依赖大规模标注数据的常规监督学习不同，小样本学习试图利用先验知识、预训练表征、任务间共性或元学习机制，使模型能在有限数据下保持泛化能力。该领域与元学习、迁移学习、表征学习、贝叶斯推断和深度学习关系密切，并在计算机视觉、自然语言处理、医学影像、音频分析、机器人学习和大型语言模型提示学习等领域得到应用。

## 定义与问题形式

小样本学习的核心困难在于训练样本过少，经验风险最小化得到的模型容易过拟合，难以可靠估计目标任务中的数据分布。已有综述通常把小样本学习理解为在少量带监督信息的样本上完成快速泛化的问题，其基本思路是把来自相似任务、相似类别或大规模预训练过程的先验知识转移到新任务中。在分类任务中，常见表述是“N类K样本”（N-way K-shot）：每个任务包含N个待识别类别，每个类别只有K个有标签样本作为支持集（support set），模型再对查询集（query set）中的样本进行分类。

小样本学习与单样本学习（one-shot learning）和零样本学习（zero-shot learning）相邻。单样本学习通常指每个新类别只有一个有标签样本；零样本学习则不提供目标类别的标注样本，而依赖文本描述、属性、语义嵌入或其他外部知识完成识别。在大型语言模型语境中，小样本学习还常指模型在推理时通过提示词中的少量示例理解任务，而不再进行梯度更新或重新训练。

## 发展

小样本学习的动机部分来自人类学习能力。人类可以在很少示例下掌握新概念，并把既有经验用于新情境。早期计算机视觉研究已尝试用贝叶斯方法和知识迁移解决少量图像样本下的物体类别识别问题。李飞飞、罗布·弗格斯和彼得罗·佩罗纳于2006年在《IEEE TPAMI》发表的单样本物体类别学习研究，是该方向的重要早期工作之一。2015年，布伦登·M·莱克（Brenden M. Lake）、鲁斯兰·萨拉赫丁诺夫（Ruslan Salakhutdinov）和乔舒亚·B·特南鲍姆（Joshua B. Tenenbaum）在《科学》发表的贝叶斯程序学习研究，以Omniglot手写字符数据集为对象，展示了模型从单个示例学习视觉概念并进行类人泛化的可能性。

2010年代中后期，深度学习推动小样本学习进入以元学习和深度表征为核心的新阶段。匹配网络把小支持集和未标注样本映射到标签预测中，通过注意力与记忆机制解决单样本任务；原型网络把每个类别表示为嵌入空间中的原型，并通过距离完成分类；模型无关元学习（MAML）则学习一种适合快速微调的初始参数，使模型在少量样本和少数梯度更新后适应新任务。

随着生成式人工智能和大型语言模型的发展，小样本学习的含义进一步扩展。GPT-3论文把“few-shot”用于描述一种不更新模型参数、仅在提示词中给出少量任务示例的使用方式，并指出扩大语言模型规模可以提升任务无关的小样本表现。在部分媒体中，小样本学习也逐渐成为人工智能术语表中的常见概念，常被概括为用远少于常规训练所需的样本让系统掌握新任务。

## 方法

小样本学习方法大体可以按先验知识的使用方式分为基于数据、基于模型和基于算法三类。基于数据的方法通过数据增强、生成模型、半监督学习、自监督学习或外部数据扩充监督信息；基于模型的方法通过结构设计、参数共享、记忆模块或嵌入空间约束缩小假设空间；基于算法的方法则调整搜索或优化过程，使模型能更快找到适合新任务的假设。

基于度量学习的方法是小样本分类中最常见的路线之一。此类方法把样本映射到嵌入空间，并学习一个可以衡量样本相似性的距离或关系函数。孪生网络通过成对比较判断两个输入是否属于同一类别；Matching Networks把支持集作为记忆，通过注意力式匹配给查询样本分配标签；原型网络为每个类别计算原型表示，再按查询样本到各类别原型的距离进行分类；关系网络则以可学习的关系模块比较支持样本与查询样本之间的相似度。

基于优化的元学习方法把“如何快速学习”本身作为训练目标。MAML不限制具体模型结构，只要求模型可用梯度下降训练；其目标是在大量任务上学习一组初始参数，使模型遇到新任务时只需少量样本和少量梯度更新即可取得较好表现。基于模型的元学习则常使用记忆增强网络、循环网络、外部记忆或任务条件化模块，把不同任务中的经验保存在可复用结构中。元学习综述通常把这些路线与迁移学习、多任务学习和超参数优化区分开来，强调元学习是在多个学习情节中改进学习算法本身。

迁移学习和预训练也常与小样本学习结合。模型可以先在大规模数据上学习通用表征，再用少量目标域样本微调；也可以利用自监督学习、半监督学习或多模态预训练减少对目标任务标签的依赖。在大型语言模型中，提示词中的少量示例可以作为上下文示范，引导模型在不更新参数的情况下执行分类、翻译、问答、信息抽取等任务。

## 数据集与评估

小样本学习的评估通常把训练类别和测试类别分开，要求模型在未见过的新类别上完成分类。评估过程常采用情节式采样：每个情节模拟一个N类K样本任务，由支持集和查询集组成，最终以多个情节上的平均准确率或置信区间衡量模型表现。这种设置能比普通训练/测试划分更贴近小样本应用场景，但也可能因任务构造、类别划分和数据集偏差影响结果。

Omniglot和miniImageNet是早期深度小样本学习中常用的数据集。Omniglot包含来自50种书写系统的1623个手写字符类别，每个字符由多名书写者提供样本，常用于单样本和少样本字符识别。miniImageNet由ImageNet中的部分类别构成，Matching Networks等工作使用它评估更接近真实图像识别的小样本学习能力。后来提出的Meta-Dataset把多个图像分类数据集合并为“数据集的数据集”，用于考察模型在跨数据集、跨任务条件下的小样本泛化能力。

## 应用

在计算机视觉中，小样本学习用于物体识别、细粒度分类、目标检测、医学影像和遥感影像等任务。医学场景中，罕见疾病、新发疾病和隐私限制会导致标注数据稀缺，因此小样本学习常与迁移学习、解释性模型和专家标注流程结合。加拿大国家研究委员会的COVID-Net项目使用X光、CT和超声影像开发COVID-19诊断与预后辅助工具，其目标之一是利用小样本学习和元学习建立风险分层与诊断模型。《多伦多星报》2023年的报道也把医学影像中的小样本人工智能与COVID-19、结核、乳腺癌和前列腺癌等诊断场景联系起来，强调在样本有限时减少训练数据需求和提供可解释诊断依据的重要性。

在音频和声音分析中，小样本学习用于语音识别、声音分类、声音事件检测、异常声音检测、语音克隆和生物声学识别等任务。音频数据常受采集成本、隐私、环境噪声和类别长尾分布限制，少量目标样本的快速适配能力因而具有实际价值。在工业监测、城市声音感知和环境声学中，小样本学习也可以降低新设备、新场景和新故障类型的标注成本。在自然语言处理和生成式人工智能中，小样本学习常表现为少量示例提示。GPT-3等大型语言模型展示了在翻译、问答、完形填空和若干推理任务中通过少量文本示例执行任务的能力。这种用法不同于传统训练阶段的小样本分类，它通常发生在推理时，模型参数保持不变，任务信息由提示词中的自然语言说明和示例提供。

小样本学习也进入体育、媒体和商业系统。IBM和美国大师赛在2024年推出由watsonx支持的AI功能，其中“Hole Insights”结合自然语言处理和结构化赛事数据生成逐洞分析，并用八年赛事数据、17万余次击球和球位信息提供历史洞察；其西班牙语AI解说功能则通过少样本学习训练模型，使其能以西班牙语生成音频和字幕解说。在人工智能研究生态中，小样本学习也与深度学习机构、产业实验室和高校合作相关；Google Canada 2022年在蒙特利尔开设新办公室并承诺投入275万美元支持魁北克科技生态，其中包括向Mila提供150万美元用于人工智能研究。

## 局限与研究方向

小样本学习并不能消除数据需求，而是把数据需求从目标任务转移到先验知识、预训练任务、元训练任务或外部知识上。模型在训练类别和测试类别相似时表现较好，但在跨领域、跨模态或分布差异较大的任务中可能显著退化。支持集样本过少时，样本质量、标注噪声和类别代表性会对结果产生很大影响；少数异常样本可能导致模型原型、距离度量或微调方向偏离真实分布。

该领域的评估也存在争议。固定数据集上的高准确率不一定代表真实世界泛化能力，任务构造、类别划分、预训练数据重叠和超参数选择都可能影响比较结果。Meta-Dataset等较复杂基准试图缓解这一问题，但也表明现有方法在跨数据集泛化中仍有明显局限。此外，小样本模型常涉及黑箱深度网络、复杂元训练过程或大型预训练模型，解释性、可复现性、计算成本和安全性仍是持续研究方向。