Polk ble født i Mecklenburg County i Nord-Carolina 2. november 1795 som den eldste av ti søsken. Foreldrene var plantasjeeieren Samuel Polk (1772–1827) og Jane Knox Polk (1776–1852). I 1806 flyttet familien til en plantasje ved Duck River i Tennessee. Både faren og farfaren skal ha vært svært politisk engasjerte. Familiens politiske forbilde var Thomas Jefferson.