Потгитер родился в округе Таркастад в Капской колонии, второй сын Хермануса Потгитера и его жены Петронеллы Маргареты, урождённой Крюгер (Petronella Margaretha Kruger). Богатый земледелец и овцевод, он участвовал в 4-й и 5-й приграничных войнах против племён коса. В 1834 году, наряду с многими бурами, недовольными деспотической политикой британцев, Потгитер решил покинуть колонию и переселиться на восток. Хотя планы переселенцев несколько задержала 6-я Кафрская война, они отправились в путь в 1835 году. Так начался Великий трек. Их предшественниками были группы Луиса Трегардта и Йоханнеса ван Ренсбурга (). Позднее к группе Потгитера присоединился кальвинистский пастор Сарел Арнольдус Сильерс (), ставший её духовным наставником.