Under nasjonalsosialismen i Tyskland ble huset stengt for de kommunistiske eiere i 1933. Den ble deretter brukt av SA, fikk navnet Horst Wessel-huset, og tjente som konsentrasjonsleir for å terrorisere nazimotstandere. I en kort periode holdt et grunnregisterkontor til i bygningen, men ble så igjen overtatt nasjonalsosialistiske organisasjoner, inntil slutten på den andre verdenskrigen.