Lee såg sig nödsakad att gå tillbaka till Virginien,