Gården ble omskapt til et renessanselystslott med diagonalt hjørnestillede tårn og kobberkledte kupler. Hele bygningen fikk en etasje mere, og ble også overdekket med et stort tak. Fra slottet førte en bro inn til ladegårdsbanken, hvor alle de bygninger lå som skulle til for å få et fyrstesete til å fungere. Slottshaven ble utvidet og en stor frukthave anlagt. Hertugen bodde tidvis med familie og hele hoffstaten på Østerholm, og her ble holdt store jaktselskaper.