Hampton blev født i Charleston, South Carolina, ældste søn af Wade Hampton II (1791–1858), kendt som "Colonel Wade Hampton", en af de mest velhavende plantageejere i Syden (og ejer af det største antal slaver). Han havde været dragonofficer i den Britisk-amerikanske krig (1812), hvor han var adjudant for general Andrew Jackson i Slaget ved New Orleans. Han var barnebarn af Wade Hampton (1754–1835), oberstløjtnant i kavaleriet under den Amerikanske uafhængighedskrig, medlem af Repræsentanternes Hus og brigadegeneral under krigen i 1812. Hans onkel, James Henry Hammond, var medlem af såvel Repræsentanternes Hus og Senatet samt guvernør i South Carolina.