オートエンコーダ
オートエンコーダは次元圧縮に必要な特性を有するように設計されている。
オートエンコーダは中間層の次元数 d m {\displaystyle d_{m}} が入出力層の次元数 d i , o {\displaystyle d_{i,o}} より小さいように制約されている。なぜなら d i , o ≦ d m {\displaystyle d_{i,o}\leqq d_{m}} の場合、オートエンコーダは恒等変換のみで再構成誤差ゼロを達成できてしまう。
オートエンコーダは次元圧縮を実現するが、これは良い表現学習を必ずしも意味しない。 d m {\displaystyle d_{m}} を小さくすることで入力中の情報量が多い(より少量で画像を再構成できる)特徴のみが保存されると期待されるが(c.f. 非可逆圧縮)、これが特徴量として優れているとは一概に言えない。