Potgieter werd geboren in het district Graaff-Reinet in de Kaapkolonie en was het tweede kind van Hermanus Potgieter en Petronella Margaretha Kruger. In zijn vroege leven groeide hij op tot welvarende schapenboer en vocht in de vierde en vijfde Grensoorlog in de Kaap. Net als veel andere Afrikaner boeren besloot hij in de jaren 30 van de 19e eeuw de Kaapkolonie te verlaten, weg van de Britse overheersing. Na de Zesde Grensoorlog vertrok hij als leider van een grote groep Voortrekkers in 1836 richting de binnenlanden van Zuid-Afrika met de Grote Trek. Andere groepen onder leiding van Louis Tregardt en Hans van Rensburg waren hem al voorgegaan. De spirituele leider van de Voortrekkers, Sarel Cilliers, voegde zich later nog bij het gezelschap van Potgieter.