Det nåværende slottet og kirken er derimot en del yngre da Christian IV rev store deler av det gamle slottet for å gjenoppføre et langt større og prektigere kongeslott i hollandsk renessanse i begynnelsen av 1600-tallet.