Ein Autoencoder hat eine sehr spezielle Architektur, da die verborgenen Schichten kleiner sind als die Eingabeschichten. Diese Art von Architektur wird als "Bottleneck"-Architektur bezeichnet. Man kann einen Autoencoder in zwei Teile links und rechts von diesem "Bottleneck" zerlegen.
Der linke Teil wird Encoder genannt. Der Encoder wandelt die Eingabe in eine Darstellung in einem Raum mit geringerer Dimension um, der latenter Raum genannt wird. Der Encoder komprimiert also die Eingabe in eine weniger aufwendige Darstellung.
Der rechte Teil wird Decoder genannt, da er mithilfe der latenten Darstellung der Eingabe eine Ausgabe rekonstruieren soll, die der Eingabe am ehesten entspricht.