Aaron Burr
司法長官退任後、リーはポトマック地区の港務官となった。1801年、リーはトーマス・ジェファーソン大統領から最高裁判所の陪席判事職を要請されたが、リーはそれを断った。リーはその代替として巡回裁判所で判事となり、1802年に判事職を退いた。リーはその後、弁護士業を開業し、残りの生涯を法律生活に費やした。リーは最高裁陪席判事サミュエル・チェイスや副大統領アーロン・バーの弁護人を務めた。