约翰·昆西·亚当斯
波尔克成为了田纳西当时最主要的政客安德鲁·杰克逊的支持者。1824年，杰克逊竞选总统，詹姆士则竞选众议院议员。波尔克成功了，杰克逊则被击败。虽然杰克逊赢得了普选，但他和其他候选人（约翰·昆西·亚当斯、亨利·克莱和威廉·H·克劳福德）都没有赢得过半选票。众议院只好从中挑选优胜者。在他的首场演说中，波尔克表示他相信众议院选择亚当斯就违背了人民的意愿。他甚至提议废止选举团，虽然没有成功。