Fengsel eller arresthus ble benyttet til forvaring av personer som hadde begått mindre lovbrudd eller personer som satt i varetekt fram til en rettsavgjørelse. Maksimal straff med fengsel på vann og brød var 4 uker. Straffarbeidet skulle utholdes i «fiskerleiene nordenfjells», i «bergverkene sønnenfjells» eller på Bremerholm. Slaveriet ved Bremerholm ble nedlagt i 1741 etter at Kongen i 1739 hadde bestemte at hver festning skulle opprette egne slaverier. I Norge ble det opprettet slaverier tilknyttet festningene ved Fredriksten, Fredrikstad, Kongsvinger, Akershus, Christiansholm, Bergenhus, Trondheim og Vardøhus. Mange av festningene fikk også egne fangebygninger. Slavene utførte arbeid på festningene eller ble utleid som arbeidsfolk i byen.