克斯一个兄弟的后代，她将她的长子以她的的父亲詹姆士·诺克斯的名字命名。简信奉长老总，而塞缪尔的父亲信奉自然神论，所以当詹姆士被送去接受洗礼时，塞缪尔因与牧师观点不同而拒绝让他的儿子受洗。1803年，波尔克的大部分亲戚移居田纳西中部的杜克河地区（即现在的摩利县），但波尔克的家人直到1806年才跟去。塞缪尔·波尔克成了当地最重要的种植园主之一并当上了县法官，他的家族开始繁荣兴旺。在童年时代，詹姆士身体虚弱，这对他的早期学业产生了消极影响。1812年他快17岁时，他的父亲设法带他乘大篷车到费城拜访菲力普·辛·