奴隶分给自己的遗孀和孩子。詹姆士从父亲和已故的兄弟那里继承了20名奴隶。1831年，他成为一名外居的棉花种植园主，他派奴隶打理父亲留给他的萨默维尔附近的种植园。40年后波尔克卖掉了萨默维尔种植园，并和他的姐夫一起买了920英亩（3.7 km²）的土地、科菲维尔附近的一片种植园。他把余生都花在经营这片庄园上，最后它由他的姐夫完全接管。波尔克很少卖奴隶，虽然当他成为总统后有了更好的资本，他买了一些奴隶。波尔克保证他们的奴隶在他妻子莎拉死后会被释放。然而，在他的妻子于1891年去世前，1863年的解放奴隶宣言和1