La historia del palacio se remonta a una fortaleza, Krogen, construida en la década de 1420 por el rey danés Erico de Pomerania.