Etter at Norge ble okkupert av Tyskland i april 1940 ble bygningen overtatt av tyske luftvernsoldater. I 1941 ble den gitt tilbake til Statsarkivet i Kristiansand. Et år senere, i 1942, ble bygningen imidlertid rekvirert av Gestapo. Inntil mai 1945 var Vesterveien 4 Gestapo-hovedkvarter på Sørlandet.