Het huis, dat aanvankelijk Møgeltønderhus heette, werd gebouwd op de resten van een vervallen kasteel van de bisschoppen van Ribe. De burcht had dienstgedaan als vesting tegen de Friezen en als bescherming van het riviertje de Vidå, dat nu de grens vormt tussen Denemarken en Duitsland. Tijdens de Reformatie werd het kasteel echter geconfisqueerd door de Deense overheid. Koning Frederik III schonk het huis aan veldmaarschalk graaf Hans von Schack (1609-1676) wegens zijn verdiensten in de Noordse Oorlog. In 1661 werd de ruïne afgebroken, en vervangen door een nieuw barokpaleis. In 1680 werd een laan aangelegd tussen het kasteel en het lokale kerkje. Daarna bleef het kasteel elf generaties in handen van de familie Von Schack, totdat het in 1978 in het bezit kwam van de Deense koninklijke familie. Na een langdurige restauratie kon prins Joachim het in 1995 met zijn toenmalige vrouw prinses Alexandra betrekken. Tot 2014 woonde hij er met prinses Marie.