Ardent sécessionniste, Wharton s'enrôle dans l'armée confédérée en tant que capitaine de la compagnie B du 8th Texas Cavalry, aussi connu comme les « ». Nommé colonel du régiment, Wharton combat avec distinction à Shiloh, où il est blessé. Wharton sert sous les ordres du général Braxton Bragg au cours de l'invasion de l'Est du Kentucky en 1862. Il est promu au brigadier général le , et est de nouveau blessé, cette fois à Murfreesboro, dans le Tennessee.