Bygget har på folkemunne fått tilnavnet «Gestapohuset» som fremdeles er i daglig bruk. Navnet stammer fra sikkerhetspolitiets beryktede avdeling IV, som Geheime Staatspolizei (Gestapo). Dette var den utøvende avdelingen av sikkerhetspolitiet som gjennomførte de fleste terroraksjoner og arrestasjoner. Navnet ble over hele Europa blitt synonymt med vold og drap. miniatyr|Veiten 3, kjent som «Gestapohuset» i Bergen. Over 3000 fanger fikk oppleve Gestapohuset under krigen. De arresterte var for det meste personer som var aktive i Bergenske motstandsgrupper under 2. verdenskrig. Navnet på fangene som ble arrestert i Bergen finnes i arrestbøker for Bergen kretsfengsel og den såkalte «bevegelsesboken» med oversikt over fanger som ble transportert mellom ulike bygg og institusjoner i Bergen.