Det store inngangstårnet, kjent som Blåtårn, ble brukt som fengsel. Christian IVs datter Leonora Christina Ulfeldt, gift med Corfitz Ulfeldt, satt fengslet der i 21 år.