| 机器学习与 |
| --- |
| An illustration of a neural network with dark |
| 范式
* 监督学习
* 無監督學習
* 線上機器學習
* 元学习（英语：）
* 半监督学习
* 自监督学习
* 强化学习
* 基于规则的机器学习（英语：）
* 量子機器學習
 |
| 问题
* 统计分类
* 生成模型
* 迴歸分析
* 聚类分析
* 降维
* 密度估计（英语：）
* 异常检测
* 数据清洗
* 自动机器学习
* 关联规则学习
* 語意分析
* 结构预测（英语：）
* 特征工程
* 表征学习
* 排序学习（英语：）
* 语法归纳（英语：）
* 本体学习（英语：）
* 多模态学习（英语：）
 |
| 监督学习(**分类** · **回归**)
* 学徒学习（英语：）
* 决策树学习
* 集成学习
	+ Bagging
	+ 提升方法
	+ 随机森林
* *k*-NN
* 線性回歸
* 朴素贝叶斯
* 人工神经网络
* 邏輯斯諦迴歸
* 感知器
* 相关向量机（RVM）
* 支持向量机（SVM）
 |
| 聚类分析
* BIRCH
* CURE算法（英语：）
* 层次
* *k*-平均
* Fuzzy
* 期望最大化（EM）
* DBSCAN
* OPTICS
* 均值飘移（英语：）
 |
| 降维
* 因素分析
* CCA
* ICA
* LDA
* NMF（英语：）
* PCA
* PGD（英语：）
* t-SNE（英语：）
* SDL
 |
| 结构预测（英语：）
* 圖模式
	+ 貝氏網路
	+ 條件隨機域
	+ 隐马尔可夫模型
 |
| 异常检测
* RANSAC
* *k*-NN
* 局部异常因子（英语：）
* 孤立森林（英语：）
 |
| 人工神经网络
* 自编码器
* 認知計算
* 深度学习
* DeepDream（英语：）
* 多层感知器
* RNN
	+ LSTM
	+ GRU（英语：）
	+ ESN（英语：）
	+ 储备池计算（英语：）
* 受限玻尔兹曼机
* GAN
* SOM
* 卷积神经网络
	+ U-Net
* Transformer
	+ Vision transforme（英语：）
* 脉冲神经网络（英语：）
* Memtransistor（英语：）
* 电化学RAM（英语：）（ECRAM）
 |
| 强化学习
* Q学习
* SARSA
* 时序差分（TD）
* 多智能体（英语：）
	+ Self-play（英语：）
 |
| 与人类学习
* 主动学习（英语：）
* 众包
* Human-in-the-loop（英语：）
 |
| 模型诊断
* 学习曲线（英语：）
 |
| 数学基础
* 内核机器（英语：）
* 偏差–方差困境（英语：）
* 计算学习理论（英语：）
* 经验风险最小化
* 奥卡姆学习（英语：）
* PAC学习（英语：）
* 统计学习
* VC理论
 |
| 大会与出版物
* NeurIPS
* ICML（英语：）
* ICLR
* ML（英语：）
* JMLR（英语：）
 |
| 相关条目
* 人工智能术语（英语：）
* 机器学习研究数据集列表（英语：）
* 机器学习概要（英语：）
 |
| * 
* 论
* 编
 |

一个具有3个全连接隐藏层的自动编码器网络结构。
**自编码器**（英語：）也称**自动编码器**，是一种人工神经网络，用于学习无标签数据的有效编码；属一种无监督学习。

**自编码**（autoencoding）的目的是：学习对高维度数据做低维度"表示"（"表征"或"编码"）；因此，
通常用于降维。最近，自编码的概念广泛地用于数据的生成模型。 自2010年以来，一些先进的人工智能在深度学习网络中采用了采用堆叠式稀疏自编码。

基本结构
----

自编码器有两个主要部分组成：编码器用于将输入编码，而解码器使用编码重构输入。

实现这个功能最简单的方式就是重复原始信号。然而，自编码器通常被迫近似地重构输入信号，重构结果仅仅包括原信号中最相关的部分。

自编码器的思想已经流行了几十年，其首次应用可以追溯到20世纪80年代。自编码器最传统的应用是降维或特征学习，现在这个概念已经推广到用于学习数据的生成模型。.21世纪10年代的一些最强大的人工智能在深度神经网络中采用了自编码器。

最简单的自编码器形式是一个前馈的、非循环的神经网络，用一层或多层隐藏层链接输入和输出。输出层节点数和输入层一致。其目的是重构输入（最小化输入和输出之间的差异），而不是在给定输入的情况下预测目标值，所以自编码器属于无监督学习。

最简单的自编码器形式是一个前馈的、非循环的神经网络，类似于多层感知器（MLP）中的单层感知器，用一层或多层隐藏层链接输入和输出。输出层具有与输入层相同数量的节点（神经元）。输出层节点数和输入层一致。其目的是重构输入（最小化输入和输出之间的差异），而不是在给定输入X的情况下预测目标值Y， 所以自编码器属于无监督学习。

自编码器由编码器和解码器组成，二者可以被分别定义为变换 \phi  和\psi  ，使得：

{\displaystyle \phi :{\mathcal {X}}\rightarrow {\mathcal {F}}}
{\displaystyle \psi :{\mathcal {F}}\rightarrow {\mathcal {X}}}
{\displaystyle \phi ,\psi ={\underset {\phi ,\psi }{\operatorname {arg\,min} }}\,\|{\mathcal {X}}-(\psi \circ \phi ){\mathcal {X}}\|^{2}}
在最简单的情况下，给定一个隐藏层，自编码器的编码阶段接受输入{\displaystyle \mathbf {x} \in \mathbb {R} ^{d}={\mathcal {X}}}并将其映射到{\displaystyle \mathbf {h} \in \mathbb {R} ^{p}={\mathcal {F}}}：

{\displaystyle \mathbf {h} =\sigma (\mathbf {Wx} +\mathbf {b} )}
像{\displaystyle \mathbf {h} }通常表示编码、潜变量或潜在表示。\sigma 是一个逐元素的激活函数（例如sigmoid函数或线性整流函数）。{\mathbf {W}}是权重矩阵，\mathbf {b} 是偏置向量。权重和偏置通常随机初始化，并在训练期间通过反向传播迭代更新。自编码器的解码阶段映射{\displaystyle \mathbf {h} }到重构{\displaystyle \mathbf {x'} }（与\mathbf {x} 形状一致）：

{\displaystyle \mathbf {x'} =\sigma '(\mathbf {W'h} +\mathbf {b'} )}
其中解码器部分的{\displaystyle \mathbf {\sigma '} ,\mathbf {W'} ,\mathbf {b'} } 可能与编码器部分的{\displaystyle \mathbf {\sigma } ,\mathbf {W} ,\mathbf {b} }无关。

自编码器被训练来最小化重建误差（如平方误差），通常被称为 "损失"：

{\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )=\|\mathbf {x} -\mathbf {x'} \|^{2}=\|\mathbf {x} -\sigma '(\mathbf {W'} (\sigma (\mathbf {Wx} +\mathbf {b} ))+\mathbf {b'} )\|^{2}}
其中\mathbf {x} 通常在训练集上平均。

如前所述，和其它前馈神经网络一样，自编码器的训练是通过误差的反向传播进行的。

当特征空间\mathcal{F}的维度比输入空间{\mathcal {X}}低时，特征向量\phi (x)可以看作时输入x的压缩表示，这就是不完备自动编码（undercomplete autoencoders）的情况。如果隐藏层大于（过完备）或等于输入层的数量，或者隐藏单元的容量足够大，自编码器就可能学会恒等函数而变得无用。然而，实验结果表明过完备自编码器（overcomplete autoencoders）仍然可能学习到有用的特征。在理想情况下，编码的维度和模型容量可以根据待建模数据分布的复杂性来设定，采用这种方式的一种途径是正则化自编码器。

另見
--

* 表征学习

參考
--

1. 1 2  Auto-Encoding Variational Bayes, Kingma, D.P. and Welling, M. ArXiv e-prints, 2013 arxiv.org/abs/1312.6114
2. 1 2  Generating Faces with Torch, Boesen A. Larsen L. and Sonderby S.K. 2015 torch.ch/blog/2015/11/13/gan.html
3. 1 2  Domingos, Pedro.. . Basic Books. 2015. "Deeper into the Brain" subsection. ISBN 978-046506192-1.
4. 1 2  Bengio, Yoshua; Courville, Aaron.. . Cambridge, Massachusetts. 2016  [2022-06-06]. ISBN 0-262-03561-8. OCLC 955778308. （原始内容存档于2021-02-17）.
5. ↑  Schmidhuber, Jürgen.. Neural Networks. January 2015, **61**: 85–117. PMID 25462637. S2CID 11715509. arXiv:1404.7828 可免费查阅. doi:10.1016/j.neunet.2014.09.003.
6. ↑  Hinton, G. E. & Zemel, R. S. (1994). Autoencoders, minimum description length and Helmholtz free energy. In *Advances in neural information processing systems 6* (pp. 3-10).
7. ↑  Bengio, Y.  (PDF). Foundations and Trends in Machine Learning. 2009, **2** (8): 1795–7  [2022-06-06]. CiteSeerX 10.1.1.701.9550 可免费查阅. PMID 23946944. doi:10.1561/2200000006. （原始内容 (PDF)存档于2015-12-23）.