I de påfølgende årene mistet Hammershus sin betydning som festning. Den ble anvendt som statsfengsel for blant annet Corfitz Ulfeldt og Leonora Christina Ulfeldt, som ble fengslet i 1660. Etter deres flukt fra Manteltårnet og påfølgende pågripelse ble de plassert i slottskapellet. Senere ble de overført tilbake til Manteltårnet, denne gang i hver sin etasje.