I 1664 ble Dragsholm slott overtatt av rentemester Henrik Müller, og i 1694 kom det på Adeler-slektens hender da det ble kjøpt av Fridrich Christian Adeler og hustru Henriette Magrethe von Lente. I Adeler-slektens eiertid hadde slottet navnet og var et baroni.