Родился в семье рабов в Джорджтауне, штат Южная Каролина. Он и его брат Эдвард были смешанной расы. Их мать Грейс имела африканские и французские корни и, вероятно, происходила от рабов, бежавших из Сан-Доминго во время и после революции на Гаити. Их отцу Эдварду Рейни, также происходившему от рабов, хозяин разрешил трудиться самостоятельно, чтобы заработать денег; Эдвард стал парикмахером, развил успешный бизнес и, несмотря на регулярные отчисления, согласно закону, части доходов своему владельцу, сумел скопить достаточную сумму, чтобы в 1840 году купить свободу себе, жене и двум сыновьям.