Under syvårskrigen (1756–1763) ble sannsynligvis kjellerrommene brukt som militært fengsel. Fram til 1802 var det fengselsceller i kjelleren på vesttårnet.