ワシントン・アンド・リー大学
1873年に母が死んだ後で、リーはフェアファックス郡にある古くからのフィッツヒュー家の資産（今日のスプリングフィールド近く）レイブンズワース・プランテーション、563エーカー (2.3 km2) を相続した。リーはホワイトハウスからそこに移った。1875年、リーはバージニア州上院議員に選ばれ、1878年まで務めた。その後民主党員として1887年にアメリカ合衆国下院議員に選出された。リーは下院議員を1891年にレイブンスワースで死ぬまで務めた。リーはバージニア州レキシントンのワシントン・アンド・リー大学にあるリー・チャペルに、その両親や兄弟と共に埋葬されている。