Noen egentlig residens for kongen har slottet aldri vært, men flere konger har bodd her i perioder; Christian II ble født her. Christian III var aktiv på slottet og det samme var Christian IV, som fikk Dominicus Baediaz til å oppføre en østfløy.