Fitzhugh Lee var andre son af generallöjtnant Robert Lee och stod vid kri gets utbrott som löjtnant i ett af Förenta Staternas regemente.