En stor del av festningen ble brukt til fengsel, omtalt som . Den tids kriminalomsorg var en blanding av oppbevaring – for å beskytte samfunnet – og «moralsk oppbyggelse» gjennom hardt arbeid. I stedet for å henrette kriminelle, ble de satt i tvangsarbeid. Slavene kunne settes til alle slags offentlige arbeider eller leies ut til private. Blant de innsatte var kjente størrelser som utbryterkongen Gjest Baardsen og mestertyven Ole Høiland.