Su padre, Samuel Polk, era un escocés-irlandés dueño de más de cincuenta esclavos y próspero granjero y agrimensor.