克是个有苏格兰-爱尔兰血统的奴隶主，成功的农场主兼测量员。他的母亲简·波尔克（娘家姓诺克斯），是苏格兰宗教改革家约翰·诺克斯一个兄弟的后代，她将她的长子以她的的父亲詹姆士·诺克斯的名字命名。简信奉长老总，而塞缪尔的父亲信奉自然神论，所以当詹姆士被送去接受洗礼时，塞缪尔因与牧师观点不同而拒绝让他的儿子受洗。1803年，波尔克的大部分亲戚移居田纳西中部的杜克河地区（即现在的摩利县），但波尔克的家人直到1806年才跟去。塞缪尔·波尔克成了当地最重要的种植园主之一并当上了县法官，他的家族开始繁荣兴旺。在童年时代