Ved okkupasjonen av Norge i april 1940 ble bygget overtatt av de tyske politimyndighetene Gestapo og (SD). Det var ment som et hovedkvarter for ledelsen for Sipo og SD, der Heinrich Fehlis var (BdSuSD), men han flyttet i februar 1945 sitt hovedkvarter til Furulund i Oslo vest, mens Sipos kommandør ble igjen på Victoria terrasse. Her var det forhørsrom for alle fangene i Oslo, og navnet «Victoria terrasse» har for mange senere blitt synonymt med tortur og overgrep. Byggets kjeller huset celler for korte opphold, men det var vanlig praksis å hente fangene rett fra sine respektive fengsler. Ett av disse var Møllergata 19. Flere fanger hoppet ut av vinduene og slo seg ihjel mens de ventet på å bli forhørt.