I det 15. århundre kom den middelalderlige borgen gjennom Ribeprivilegiet, i kong Frederik Is besittelse, og han utvidet det til et egentlig slott.