Hampton syntyi Charlestonissa Etelä-Carolinassa Wade Hamptonin II (1791–1858) vanhimmaksi pojaksi. Hänen isänsä oli ”eversti Wade Hampton”: yksi etelävaltioiden rikkaimmista viljelijöistä (ja suurimman orjamäärän omistaja), rakuunaupseeri vuoden 1812 sodassa ja kenraali Andrew Jacksonin adjutantti New Orleansin taistelussa.