Bygningen ble reist i årene mellom 1934 til 1937 etter planer av arkitekten Paul Troost som Det tredje rikes første monumentale bygg innenfor nasjonalsosialistisk arkitektur. Museet het den gang («Den tyske kunsts hus») og åpnet i mars 1937 som en arena for å vise fram det nasjonalsosialistene betraktet som Tysklands fineste kunst. Åpningsutstillingen var kalt («Den store tyske kunstutstilling»), og skulle være en kontrast til datidens mest anerkjente kunst, som nasjonalsosialistene kalte .