Under kong Fredrik II ble klosteret gjort om til et kongelig slott, og han døde her i 1588. I 1584 var ombyggingen – kirketårnet ble utstyrt med et svært høyt spir - var såpass fullført at herredagen kunne avholdes der i juli. Deretter lot kong Frederik sønnen, den senere Christian 4., hylles i Ringsted. Prinsen gikk på skolen i Sorø fra august 1584, og kongen ble boende på Antvorskov en stund for å holde øye med oppdragelsen hans. I april 1585 fikk Frederik 2. vedtatt et forbud mot omtale av Antvorskov som et «kloster» eller som noe annet enn «slott». Skulle noen glemme seg, måtte de bøte en levende okse.