Etter andre verdenskrig ble museumsbygningen først benyttet av amerikanske okkupasjonsstyrker som en offisers-messe, og det var på den tiden bygningen fikk kallenavnet «», som er en forkortelse for bygningen gateadresse. Bygningens fortid som et nasjonalsosialistisk signalbygg kan fortsatt sees i form av hakekorslignende mosaikk i taket ved inngangen.