I 1544 ble Hans den eldre hertug i en del av Slesvig og Holsten, og han bosatte seg på Haderslevhus, som nå var blitt en eldre middelalderborg. Etter noen år besluttet Hans seg for å bygge et nytt, moderne slott som passet seg for en renessansefyrste. Byggmesteren ble Matheus Rubensaadt, som akkurat var ferdig med å bygge for Herluf Trolle og Birgitte Gøye. I oktober 1556 reiste Rubensaadt med sin familie til Haderslev, hvor han fikk laget de første tegninger samt lagt fundamentene til byggeriet. Grunnstenen ble lagt den 1. februar 1557.