Fengselet ble etablert på Bredtveit gård i 1923, på stedet der Det norske lærehjem- og verneforbund hadde drevet lærehjem for unge gutter siden 1918. Bygget var tegnet av arkitektene Morgenstierne & Eide. Fra høsten 1941 ble Bredtveit brukt av nazistene som politisk fengsel for menn.