Gjennom kjøp gikk godset i 1736 til generalløytnant Hans von Fersen, greve till Ljung. Hans enke gjorde det til fideikommiss i 1747. Slottets storhetstid kan hevdes å ha vært under hennes sønn, greve Carl von Fersen. Hans frue, født Lotta Sparre, var en av hoffets fornemste damer. Mer enn en gang mottok Steninge besøk av Gustav IIIs hoff. Den barnløse Carl von Fersen overlot Steninge til sin bror, feltmarskalk, greve Axel von Fersen d.e. Sønnen, riksmarskalk Axel von Fersen d.y. som arvet godset, ble et ulykkelig offer for urolighetene i 1810. Et monument til hans minne ble satt opp i parken i 1813.