En 1864 Wharton participe à la campagne de l'Overland, combattant dans la division de Breckinridge au cours de la victoire confédérée à la bataille de Cold Harbor du - . Sa brigade participe également à la bataille de Monocacy le . Wharton fait partie des opérations du lieutenant général Jubal Early lors des campagnes de la vallée, et il participe à la défaite confédérée de la bataille de Cedar Creek, le . Il combat également lors de la bataille de Waynesboro, Virginie le , à la fin de son commandement qui est largement dispersé et que l'armée d'Early est pratiquement détruite. Wharton mène ce qui reste de sa division jusqu'au . Il est libéré sur parole à la fin de la guerre à Lynchburg, en Virginie, le .