I 1757 ble godset solgt til Johan Georg Lillienberg (1713–1798), som bl.a. var kammerherre, riksdagsmedlem og landshøvding i Uppsala, og som ble utnevnt til greve i 1778. Lillienberg utvidet gården betydelig. Etter hans død ble godset i 1798 solgt til landmarskalk, grev Eric Ruuth, som hadde vært svensk finansminister og generalguvernør i Svensk Pommern, og som hadde blitt utnevnt til greve noen år tidligere. Tidlig på 1800-tallet ble det mulig for borgerlige å kjøpe adelige setegårder, og grev Ruuth solgte i 1810 Herresta til sin venn, den rike Stockholmsgrossereren Carl Adolph Grevesmühl (1744–1827). Det var grev Ruuth selv som hadde tatt initiativ til lovendringen som gjorde dette mulig. Herresta var deretter eid av familien Grevesmühl frem til 1917, da godset ble solgt til kaptein Fredrik Gripensvärd.