小樣本學習

小樣本學習（few-shot learning，簡稱：FSL）6-9是機器學習中研究如何讓模型在只有少量標註樣本的條件下學習新類別、新任務或新概念的方法與問題設置。與依賴大規模標註數據的常規監督學習不同，小樣本學習試圖利用先驗知識、預訓練表徵、任務間共性或元學習機制，使模型能在有限數據下保持泛化能力。該領域與元學習、遷移學習、表徵學習、貝葉斯推斷和深度學習關係密切，並在電腦視覺、自然語言處理、醫學影像、音訊分析、機器人學習和大型語言模型提示學習等領域得到應用。

## 定義與問題形式

小樣本學習的核心困難在於訓練樣本過少，經驗風險最小化得到的模型容易過擬合，難以可靠估計目標任務中的數據分布。已有綜述通常把小樣本學習理解為在少量帶監督資訊的樣本上完成快速泛化的問題，其基本思路是把來自相似任務、相似類別或大規模預訓練過程的先驗知識轉移到新任務中。在分類任務中，常見表述是「N類K樣本」（N-way K-shot）：每個任務包含N個待識別類別，每個類別只有K個有標籤樣本作為支持集（support set），模型再對查詢集（query set）中的樣本進行分類。

小樣本學習與單樣本學習（one-shot learning）和零樣本學習（zero-shot learning）相鄰。單樣本學習通常指每個新類別只有一個有標籤樣本；零樣本學習則不提供目標類別的標註樣本，而依賴文本描述、屬性、語義嵌入或其他外部知識完成識別。在大型語言模型語境中，小樣本學習還常指模型在推理時通過提示詞中的少量示例理解任務，而不再進行梯度更新或重新訓練。

## 發展

小樣本學習的動機部分來自人類學習能力。人類可以在很少示例下掌握新概念，並把既有經驗用於新情境。早期電腦視覺研究已嘗試用貝葉斯方法和知識遷移解決少量圖像樣本下的物體類別識別問題。李飛飛、羅布·弗格斯和彼得羅·佩羅納於2006年在《IEEE TPAMI》發表的單樣本物體類別學習研究，是該方向的重要早期工作之一。2015年，布倫登·M·萊克（Brenden M. Lake）、魯斯蘭·薩拉赫丁諾夫（Ruslan Salakhutdinov）和喬舒亞·B·特南鮑姆（Joshua B. Tenenbaum）在《科學》發表的貝葉斯程序學習研究，以Omniglot手寫字符數據集為對象，展示了模型從單個示例學習視覺概念並進行類人泛化的可能性。

2010年代中後期，深度學習推動小樣本學習進入以元學習和深度表徵為核心的新階段。匹配網路把小支持集和未標註樣本映射到標籤預測中，通過注意力與記憶機制解決單樣本任務；原型網路把每個類別表示為嵌入空間中的原型，並通過距離完成分類；模型無關元學習（MAML）則學習一種適合快速微調的初始參數，使模型在少量樣本和少數梯度更新後適應新任務。

隨著生成式人工智慧和大型語言模型的發展，小樣本學習的含義進一步擴展。GPT-3論文把「few-shot」用於描述一種不更新模型參數、僅在提示詞中給出少量任務示例的使用方式，並指出擴大語言模型規模可以提升任務無關的小樣本表現。在部分媒體中，小樣本學習也逐漸成為人工智慧術語表中的常見概念，常被概括為用遠少於常規訓練所需的樣本讓系統掌握新任務。

## 方法

小樣本學習方法大體可以按先驗知識的使用方式分為基於數據、基於模型和基於演算法三類。基於數據的方法通過數據增強、生成模型、半監督學習、自監督學習或外部數據擴充監督資訊；基於模型的方法通過結構設計、參數共享、記憶模塊或嵌入空間約束縮小假設空間；基於演算法的方法則調整搜索或優化過程，使模型能更快找到適合新任務的假設。

基於度量學習的方法是小樣本分類中最常見的路線之一。此類方法把樣本映射到嵌入空間，並學習一個可以衡量樣本相似性的距離或關係函數。孿生網路通過成對比較判斷兩個輸入是否屬於同一類別；Matching Networks把支持集作為記憶，通過注意力式匹配給查詢樣本分配標籤；原型網路為每個類別計算原型表示，再按查詢樣本到各類別原型的距離進行分類；關係網路則以可學習的關係模塊比較支持樣本與查詢樣本之間的相似度。

基於優化的元學習方法把「如何快速學習」本身作為訓練目標。MAML不限制具體模型結構，只要求模型可用梯度下降訓練；其目標是在大量任務上學習一組初始參數，使模型遇到新任務時只需少量樣本和少量梯度更新即可取得較好表現。基於模型的元學習則常使用記憶增強網路、循環網路、外部記憶或任務條件化模塊，把不同任務中的經驗保存在可復用結構中。元學習綜述通常把這些路線與遷移學習、多任務學習和超參數優化區分開來，強調元學習是在多個學習情節中改進學習演算法本身。

遷移學習和預訓練也常與小樣本學習結合。模型可以先在大規模數據上學習通用表徵，再用少量目標域樣本微調；也可以利用自監督學習、半監督學習或多模態預訓練減少對目標任務標籤的依賴。在大型語言模型中，提示詞中的少量示例可以作為上下文示範，引導模型在不更新參數的情況下執行分類、翻譯、問答、資訊抽取等任務。

## 數據集與評估

小樣本學習的評估通常把訓練類別和測試類別分開，要求模型在未見過的新類別上完成分類。評估過程常採用情節式採樣：每個情節模擬一個N類K樣本任務，由支持集和查詢集組成，最終以多個情節上的平均準確率或置信區間衡量模型表現。這種設置能比普通訓練/測試劃分更貼近小樣本應用場景，但也可能因任務構造、類別劃分和數據集偏差影響結果。

Omniglot和miniImageNet是早期深度小樣本學習中常用的數據集。Omniglot包含來自50種書寫系統的1623個手寫字符類別，每個字符由多名書寫者提供樣本，常用於單樣本和少樣本字符識別。miniImageNet由ImageNet中的部分類別構成，Matching Networks等工作使用它評估更接近真實圖像識別的小樣本學習能力。後來提出的Meta-Dataset把多個圖像分類數據集合併為「數據集的數據集」，用於考察模型在跨數據集、跨任務條件下的小樣本泛化能力。

## 應用

在電腦視覺中，小樣本學習用於物體識別、細粒度分類、目標檢測、醫學影像和遙感影像等任務。醫學場景中，罕見疾病、新發疾病和隱私限制會導致標註數據稀缺，因此小樣本學習常與遷移學習、解釋性模型和專家標註流程結合。加拿大國家研究委員會的COVID-Net項目使用X光、CT和超聲影像開發COVID-19診斷與預後輔助工具，其目標之一是利用小樣本學習和元學習建立風險分層與診斷模型。《多倫多星報》2023年的報導也把醫學影像中的小樣本人工智慧與COVID-19、結核、乳腺癌和前列腺癌等診斷場景聯繫起來，強調在樣本有限時減少訓練數據需求和提供可解釋診斷依據的重要性。

在音訊和聲音分析中，小樣本學習用於語音識別、聲音分類、聲音事件檢測、異常聲音檢測、語音克隆和生物聲學識別等任務。音訊數據常受採集成本、隱私、環境噪聲和類別長尾分布限制，少量目標樣本的快速適配能力因而具有實際價值。在工業監測、城市聲音感知和環境聲學中，小樣本學習也可以降低新設備、新場景和新故障類型的標註成本。在自然語言處理和生成式人工智慧中，小樣本學習常表現為少量示例提示。GPT-3等大型語言模型展示了在翻譯、問答、完形填空和若干推理任務中通過少量文本示例執行任務的能力。這種用法不同於傳統訓練階段的小樣本分類，它通常發生在推理時，模型參數保持不變，任務資訊由提示詞中的自然語言說明和示例提供。

小樣本學習也進入體育、媒體和商業系統。IBM和美國大師賽在2024年推出由watsonx支持的AI功能，其中「Hole Insights」結合自然語言處理和結構化賽事數據生成逐洞分析，並用八年賽事數據、17萬餘次擊球和球位資訊提供歷史洞察；其西班牙語AI解說功能則通過少樣本學習訓練模型，使其能以西班牙語生成音訊和字幕解說。在人工智慧研究生態中，小樣本學習也與深度學習機構、產業實驗室和高校合作相關；Google Canada 2022年在蒙特婁開設新辦公室並承諾投入275萬美元支持魁北克科技生態，其中包括向Mila提供150萬美元用於人工智慧研究。

## 局限與研究方向

小樣本學習並不能消除數據需求，而是把數據需求從目標任務轉移到先驗知識、預訓練任務、元訓練任務或外部知識上。模型在訓練類別和測試類別相似時表現較好，但在跨領域、跨模態或分布差異較大的任務中可能顯著退化。支持集樣本過少時，樣本質量、標註噪聲和類別代表性會對結果產生很大影響；少數異常樣本可能導致模型原型、距離度量或微調方向偏離真實分布。

該領域的評估也存在爭議。固定數據集上的高準確率不一定代表真實世界泛化能力，任務構造、類別劃分、預訓練數據重疊和超參數選擇都可能影響比較結果。Meta-Dataset等較複雜基準試圖緩解這一問題，但也表明現有方法在跨數據集泛化中仍有明顯局限。此外，小樣本模型常涉及黑箱深度網路、複雜元訓練過程或大型預訓練模型，解釋性、可復現性、計算成本和安全性仍是持續研究方向。