Lee såg sig nödsakad att återgå till Virginien,