Fra 1554–59 fikk den senere kong Frederik II lov til holde hoff her, hvor han førte et muntert ungdomsliv. Det var trolig også her han forelsket seg i adelskvinnen Anne Hardenberg, hvis farbror Eiler var hoffmester for kronprinsen. Maria Stuarts tredje mann, James Hepburn, 4. Jarl av Bothwell, ble holdt fanget her 1567–73. Den siste danske kongen som bodde på slottet var Frederik III i år 1652.