Lee nació el 19 de enero de 1807 en Stratford, condado de Westmoreland, en el estado de Virginia, siendo cuarto hijo del héroe de la Guerra de la Independencia de Estados Unidos Henry Lee («Lighthorse Harry») y Anne Hill (nacida Carter) Lee.