Slottets historie går tilbake til 1600-tallet. I 1651 solgte kong Frederik III det gamle Stavnsbøl Birk til hertug Ernst Günther (1609–1689). Samme år giftet Günther seg med kusinen, prinsesse Augusta av Slesvig-Holsten-Glyksborg. Paret slo seg i første omgang ned i Sønderborg, men i 1660 ble den beste gården i det gamle Stavnsbøl nedlagt for å gi plass til et nytt herresete oppkalt etter hertuginnen. Siden forsvant resten av Stavnsbøl for å gi plass for en ny avlsgård m.m. Ved ytterligere oppkjøp fikk Ernst Günther utvidet godset på Als ganske betydelig.