Lee var sønn av Henry Lee II (1730–1787) og Lucy Grymes (1734–1792), og ble født på farens plantasje Leesylvania. Han var nummer tre i en søskenflokk på elleve, og eldre bror av Henry Lee III og Richard Bland Lee I, og firemening av Zachary Taylor, USAs 12. president. Han avla eksamen ved College of New Jersey (senere Princeton University) i 1775, og studerte deretter jus hos Jared Ingersoll i Philadelphia før han vendte tilbake til Virginia.