I det 17. og 18. århundre hadde slottet en rekke eiere. Under en ombygging i 1780 ble de joniske søylene i fasaden fjernet. Fra 1807 frem til 1959 var slottet eid av advokaten Paulus Wilhelmus Bosch, som var borgermester i Utrecht. I 1959 ble daværende prinsesse Beatrix slottets nye eier. Hun lot slottet restaurere, og flyttet inn i 1963. Etter at hun tok over tronen etter dronning Juliana i 1980 flyttet hun til Huis Ten Bosch i Haag. Etter dette brukte hun Drakestein som landsted og gjestebolig frem til hun abdiserte, og 4. februar 2014 ble Slott Drakensteyn hennes offisielle residens, slik det ble bekjentgjort av Rijksvoorlichtingsdienst (RVD) samme dag.