På begynnelsen av 1400-tallet kom gården i slekten Rosensverd eie og fra omkring 1600 slekten Bildt. Senere ble gården eid av bl.a slektene Huitfeldt, Werenskiold, Elieson og statsråd Marcus Gjøe Rosenkrantz. Rosenkrantz kom i store økonomiske problemer og måtte selge herregården i 1825 og den tapte samtidig sine adelige privilegier. Den nye eieren Ernst Rohde gikk også konkurs, og Rosenkrantz tok gården tilbake, før han gikk konkurs i 1831. I 1835 ble gården solgt til et konsortium som historikeren Worm-Müller har kalt «de samme herrer der ved alle auksjoner går igjen som Tordenskjolds soldater: v.Gröditzberg, Grüning & Co., Wegner og grev Wedel», som eide gården i en årrekke. I 1853 ble Beneckes eierandel overtatt av Wegner og de nye medeierne Jacob Peter Meyer, sistnevntes sønn Thorvald Meyer, sistnevntes svoger Stener Rosenberg, Westye Egeberg og Hans Gulbranson; største eier var Wegner med rundt en tredjedel av partene. I denne perioden var Hafslund en av de største trelast- og sagbruksvirksomhetene i Norge, og også en av de største private skogeierne på Østlandet med rundt 340 000 dekar skog.