1803年に一家の親戚の大半がダック川地域（現在のモーリー郡）に移住したが、ポーク一家は1806年までパインビルに留まった。
1803年，波尔克的大部分亲戚移居田纳西中部的杜克河地区（即现在的摩利县），但波尔克的家人直到1806年才跟去。