Noe av det som særpreger kirken er arrestbygningen som ble bygget på i 1725 og som ble benyttet til statsfanger. Blant de som har sittet der er Johann Friedrich Struensee og Jacob Jacobsen Dampe.