ઉત્તર કેરોલિનામાં ઉછેર, ટેલર તેના સમૃદ્ધ પિતા, હેનરી ટેલર, એક સફેદ ગુલામ ધારક પુત્ર અને એક બ્લેક માતા માટે સુથાર અને ફોરમેન તરીકે કામ કર્યું હતું.