Som første afro-amerikaner besto Wharton opptaksprøvene til utenrikstjenesten i USA. Han ble også den første afro-amerikanske karrierediplomat fra USA som ble ambassadør. Den første posteringen han fikk utenlands var i Liberia. Han var konsul i Las Palmas på Kanariøyene fra 1930 til 1942 og var også konsul i Antananarivo på Madagaskar og i Ponta Delgada på Asorene. I 1949 ble han førstesekretær og konsul i Lisboa i Portugal. Fra 1950 til 1957 var Wharton generalkonsul i Marseille i Frankrike. Deretter ble han som første afro-amerikaner sjef for en av USAs utenriksstasjoner: Fra 1958 til 1960 var han minister i Romania. Deretter ble han postert i Oslo som USAs ambassadør i Norge. Han presenterte sine akkreditiver 18. april 1961 og tjenestegjorde til 4. september 1964.