Dronning Dorothea, enken etter Christian III, overtok byen og slottet som en del av sitt enkegods i 1559. Etter hennes død overtok hertug Hans den yngre 1571 Sønderborg.