当地最重要的种植园主之一并当上了县法官，他的家族开始繁荣兴旺。在童年时代，詹姆士身体虚弱，这对他的早期学业产生了消极影响。1812年他快17岁时，他的父亲设法带他乘大篷车到费城拜访菲力普·辛·费西克医生。然而他的疼痛变得难以忍受，只好转而去看较近的丹维尔的伊弗列姆·麦克道尔医生，他取出了波尔克的肾结石。然而这次手术可能导致了詹姆士不育，因为波尔克从未有过小孩。波尔克痊愈后，他于18岁开始了正式教育，那时他在自己家附近的锡安教堂学习。随后他参加了默弗里斯伯勒学院，在那儿他可能遇到了他未来的妻子莎拉·柴