Wharton naît près de Nashville, Tennessee, seul enfant de Sarah Groce Wharton et de , qui sera plus tard un homme politique important au cours de la révolution du Texas. Il est nommé d'après son oncle, . Quand il est encore enfant, la famille déménage vers ce qui est devenu le comté de Brazoria, Texas. En 1846, Wharton s'inscrit à l'université de Caroline du Sud. Deux ans plus tard, il épouse Eliza Penelope Johnson, la fille de , le gouverneur de Caroline du Sud.