પોલ્કના પિતા સેમ્યુઅલ હતા, એક એવા પ્લાન્ટર અને જમીનનો માલિક જે એન્ડ્રુ જેક્સનનો મિત્ર પણ હતો.