Etter at hans mor døde i 1873 arvet Rooney Ravensworth-godset, som hadde tilhørt Fitzhugh-familien i generasjoner. Denne eiendommen ligger i nærheten av dagens Springfield i Fairfax County. Eiendommen var på 2,28 km² land. I 1874 flyttet han fra White House-plantasjen til Ravensworth.