W 1937 roku naziści na fali propagandowej kampanii przeciw sztuce wynaturzonej, skonfiskowali 394 obrazy i druki, głównie ekspresjonistów. W nocy z dnia 4 grudnia 1943 roku, budynek został zniszczony podczas alianckiego bombardowania. Mimo to znaczna część zbiorów, która została wcześniej wyniesiona, ocalała. Po wojnie zbiory muzealne trafiały do różnych instytucji m.in. swoją wystawę miały w gmachu Federalnego Sądu Administracyjnego. W 2004 roku kolekcja powróciła na Sachsenplatz, do nowoczesnego budynku w kształcie sześcianu.