地区（即现在的摩利县），但波尔克的家人直到1806年才跟去。塞缪尔·波尔克成了当地最重要的种植园主之一并当上了县法官，他的家族开始繁荣兴旺。在童年时代，詹姆士身体虚弱，这对他的早期学业产生了消极影响。1812年他快17岁时，他的父亲设法带他乘大篷车到费城拜访菲力普·辛·费西克医生。然而他的疼痛变得难以忍受，只好转而去看较近的丹维尔的伊弗列姆·麦克道尔医生，他取出了波尔克的肾结石。然而这次手术可能导致了詹姆士不育，因为波尔克从未有过小孩。波尔克痊愈后，他于18岁开始了正式教育，那时他在自己家附近的锡安