| 机器学习与 |
| --- |
|  |
| 范式
* 监督学习
* 無監督學習
* 線上機器學習
* 元学习（英语：）
* 半监督学习
* 自监督学习
* 强化学习
* 基于规则的机器学习（英语：）
* 量子機器學習
 |
| 问题
* 统计分类
* 生成模型
* 迴歸分析
* 聚类分析
* 降维
* 密度估计（英语：）
* 异常检测
* 数据清洗
* 自动机器学习
* 关联规则学习
* 語意分析
* 结构预测（英语：）
* 特征工程
* 表征学习
* 排序学习（英语：）
* 语法归纳（英语：）
* 本体学习（英语：）
* 多模态学习（英语：）
 |
| 监督学习(**分类** · **回归**)
* 学徒学习（英语：）
* 决策树学习
* 集成学习
	+ Bagging
	+ 提升方法
	+ 随机森林
* *k*-NN
* 線性回歸
* 朴素贝叶斯
* 人工神经网络
* 邏輯斯諦迴歸
* 感知器
* 相关向量机（RVM）
* 支持向量机（SVM）
* 迁移学习
* 微调
 |
| 聚类分析
* BIRCH
* CURE算法（英语：）
* 层次
* *k*-平均
* Fuzzy
* 期望最大化（EM）
* DBSCAN
* OPTICS
* 均值飘移（英语：）
 |
| 降维
* 因素分析
* CCA
* ICA
* LDA
* NMF（英语：）
* PCA
* PGD（英语：）
* t-SNE（英语：）
* SDL
 |
| 结构预测（英语：）
* 圖模式
	+ 貝氏網路
	+ 條件隨機域
	+ 隐马尔可夫模型
 |
| 异常检测
* RANSAC
* *k*-NN
* 局部异常因子（英语：）
* 孤立森林（英语：）
 |
| 人工神经网络
* 自编码器
* 認知計算
* 深度学习
* DeepDream（英语：）
* 多层感知器
* RNN
	+ LSTM
	+ GRU（英语：）
	+ ESN（英语：）
	+ 储备池计算（英语：）
* 受限玻尔兹曼机
* GAN
* SOM
* 卷积神经网络
	+ U-Net
* Transformer
	+ Vision transforme（英语：）
* 脉冲神经网络（英语：）
* Memtransistor（英语：）
* 电化学RAM（英语：）（ECRAM）
 |
| 强化学习
* Q学习
* SARSA
* 时序差分（TD）
* 多智能体（英语：）
	+ Self-play（英语：）
* RLHF
 |
| 与人类学习
* 主动学习（英语：）
* 众包
* Human-in-the-loop（英语：）
 |
| 模型诊断
* 学习曲线（英语：）
 |
| 数学基础
* 内核机器（英语：）
* 偏差–方差困境（英语：）
* 计算学习理论（英语：）
* 经验风险最小化
* 奥卡姆学习（英语：）
* PAC学习（英语：）
* 统计学习
* VC理论
 |
| 大会与出版物
* NeurIPS
* ICML（英语：）
* ICLR
* ML（英语：）
* JMLR（英语：）
 |
| 相关条目
* 人工智能术语（英语：）
* 机器学习研究数据集列表（英语：）
* 机器学习概要（英语：）
 |
| * 
* 论
* 编
 |

**半监督学习**（英語：）是机器学习的一个分支，它在训练时使用了少量的有标签数据（Labeled data）和大量的无标签数据（Unlabeled data）。半监督学习介于无监督学习（训练数据全部无标签）和有监督学习（训练数据全部有标签）之间。半监督学习旨在缓解训练数据中有标签数据有限的问题。

该图展示了无标签样本对半监督学习影响的示例。上图展示了仅采用有标签样本（白圈和黑圈）进行分类的一个可能的边界。下图展示了使用有标签样本（白圈和黑圈）及无标签样本（灰圈）进行分类的边界。该过程可以看作聚类，使用有标签数据来标记聚类，让聚类边界远离高密度区域，或者学习数据所在的一维流形。
无监督学习适用的的问题往往有着大量的无标签样本，同时获得有标签样本成本较高。部分其它机器学习分支有着相同动机，但是遵从不同的假设和方法，例如主动学习（英语：）和弱监督学习。将无标签样本和少量有标签样本同时使用时，会对学习的准确性产生极大改善。为特定问题获得有标签的数据通常需要熟练工（例如转录音频片段）或进行物理实验（例如确定蛋白质的三维结构，或者确定特定地点是否有油气）。由此，获得有标签样本的成本往往较高，获取大型的、完全标注的样本集是不可行的；同时，获取无标签的样本成本往往相对较低。此时，半监督学习具有较大的使用价值。半监督学习在机器学习和人类学习的建模方面也具有理论价值。

正式的来说，半监督学习假设有{\displaystyle l}个独立同分布的样本{\displaystyle x\_{1},\dots ,x\_{l}\in X}及对应的标签{\displaystyle y\_{1},\dots ,y\_{l}\in Y}，和{\displaystyle u}个无标签的样本{\displaystyle x\_{l+1},\dots ,x\_{l+u}\in X}。半监督学习结合这些样本来获得相比于放弃无标签样本进行有监督学习或放弃有标签样本进行无监督学习更好的分类性能。

半监督学习可以是推断学习（英语：）或归纳学习。推断学习的目的是推断给定无标签样本{\displaystyle x\_{l+1},\dots ,x\_{l+u}}的正确标签；归纳学习的目的是推断{\displaystyle X}到{\displaystyle Y}的正确映射。

直观地说，学习问题可以看成一次考试，有标签样本是为了帮助学习，由老师解答的样题。推断学习中，未解决的问题是考试题目；归纳学习中，它们是会构成考试的练习题。

对整个输入空间进行推断学习没有必要（依据Vapnik准则，也是不够谨慎的）。然而在实践中，为推断学习和归纳学习设计的算法通常交替使用。

假设
--

为了充分利用无标签数据，数据分布必须有某种潜在的规律。以下是半监督学习可能用到的假设：

### 连续性、光滑性假设

「相近的数据点往往更可能有相同的标签。」这也是有监督学习中的一般假设，该假设同时对几何学上的简单决策边界有所偏好。由于很少有点相互接近但属于不同的类别，因此半监督学习的平滑性假设还产生了对低密度区域的决策边界的偏好。

### 聚类假设

「数据倾向形成离散的集群，在同一个集群中的数据点往往更可能由相同的标签（尽管具有相同标签的数据点可能分散在多个集群中）。」这是平滑性假设的特例，产生了带有聚类算法的特征学习。

### 流形假设

条目：流形假设（英语：）
「数据大致位于比输入空间维度更低的低维流形上。」在这种情况下，同时使用有标签和无标签的数据学习流形可以避免维数灾难。学习过程可以使用在流形上定义的距离和密度。

当高维数据由一些难以直接建模、仅有少数几个自由度的过程生成时，流形假设很实用。例如，人的声音由若干声带褶皱（Vocal folds）控制、面部肌肉由几个肌肉控制。此时，在问题的生成空间中考虑距离和光滑性，比在所有可能的声波或图像中考虑问题更好。

历史
--

启发式的自训练方法（self-training，也称自学习（slef-learning）或自标记（self-labeling））是历史上最古老的半监督学习方法，其应用实例起源于20世纪60年代。

推断学习的框架是由弗拉基米尔·瓦普尼克于20世纪70年代正式提出，对使用生成模型的归纳学习的兴趣也起源于同一时期。1995年，Ratsaby和Venkatesh证明了高斯混合模型半监督学习概率近似正确学习（英语：）（Probably approximately correct learning，PAC Learning）的边界。

半监督学习近期的流行是因为在实践中，大量的应用可以获得无标签数据（例如网页中的文本、蛋白质序列或图片）。

方法
--

### 生成式模型

### 低密度分离

### 拉普拉斯正则化

### 启发式方法

参考文献
----

* Chapelle, Olivier; Schölkopf, Bernhard; Zien, Alexander.. Cambridge, Mass.: MIT Press. 2006. ISBN 978-0-262-03358-9.

1. ↑ . 2007. CiteSeerX 10.1.1.99.9681 可免费查阅.
2. 1 2  Chapelle, Schölkopf & Zien 2006.
3. ↑  Stevens, Kenneth N. 1924-.. Cambridge, Mass.: MIT Press. 1998. ISBN 0-585-08720-2. OCLC 42856189.
4. ↑  Scudder, H.. IEEE Transactions on Information Theory. July 1965, **11** (3): 363–371. ISSN 1557-9654. doi:10.1109/TIT.1965.1053799.
5. ↑  Vapnik, V.; Chervonenkis, A.. Moscow: Nauka. 1974 （俄语）.  cited in Chapelle, Schölkopf & Zien 2006，第3頁
6. ↑  Ratsaby, J.; Venkatesh, S.  (PDF).  [2023-03-22]. （原始内容存档 (PDF)于2017-08-09）.  in. New York, New York, USA: ACM Press. 1995: 412–417. ISBN 0-89791-723-5. S2CID 17561403. doi:10.1145/225298.225348. . Cited in Chapelle, Schölkopf & Zien 2006，第4頁
7. ↑  Zhu, Xiaojin.  (PDF). University of Wisconsin-Madison. 2008  [2023-03-22]. （原始内容存档 (PDF)于2016-03-03）.