Rooney Lee tok utdannelse ved Harvard University, og deretter fulgte han i sin fars fotspor med tjeneste i den amerikanske hæren. Han trakk seg tilbake fra militærlivet i 1859. Rooney Lee flyttet til White House-plantasjen, som han hadde arvet fra sin bestefar, som døde i 1857. Han giftet seg med Charlotte Wickham, en etterkommer av advokat John Wickham. De fikk to barn, en gutt og en jente, som begge døde som spedbarn. Charlotte Lee døde i 1863. Hovedhuset på White House-plantasjen hadde brent ned i 1862; det var det andre av tre hovedbygninger på stedet som opp gjennom årene ble ødelagt av branner.