Роберт Эдвард Ли родился 19 января 1807 года на плантации Стратфорд-Холл в округе Вестморленд. Она находилась всего в нескольких милях от  — места рождения Джорджа Вашингтона. Его назвали Роберт Эдвард в честь двух братьев матери: Роберта и Эдварда Картеров. Ли родился в восточной комнате главного этажа, около сада. Согласно фамильному преданию, в ней некогда родились Ричард Генри Ли и , знаменитые вирджинцы, подписавшие Декларацию Независимости.