Die POTGIETER voorouers is deur Patrick van Griethuisen en Dr Ludwich Edel nagevors en terug gevolg tot by Bernd POTGEITER wat trou met 'n dogter van Heinrich KETELER. Hy kom van Essen, op die Ruhr, na Nordhorn wat in die Graafskap van Bentheim, Duitsland geleë is. In 1546 is sy naam in die Burgerboek daar ingeskryf en in 1577 word hy nog daar in 'n akte genoem. Sy skoonpa, Hynrich Keteler, of ook Kettel Hinrik genoem, woon omstreeks 1500 tot 1537 in Ossenhoek.
Essen (in Duitsland) is tot vandag toe nog beroemd vir die Ysterwerke en was daardie tyd ook reeds baie bekend vir die pot- en ketelgieters wat daarvandaan kom. Dit gee waarskynlik vir ons 'n goeie leidraad na die oorsprong van die van POTGIETER.
Noordhoorn is geleë in die Groningen provinsie, sui-wes van die stad Griningen. Die Potgieterfamilie het daar op 'n plaas gewoon met die families Steyn en Prinsloo as bure. Harmen was dan ook 'n lewenslange vriend van Douw Gerbrand Steyn. Sy dogter, Maria, het later met Jacobus Steyn, die aangenome seun van Douw getrou en so die stammoeder van die Steyns in Suid-Afrika geword.
Hy was een van die eerste bewoners van die nuwe nedersetting by die Eersterivier (Stellebosch), waar hy sy ambag as smit beoefen. Hy word deur de Wet gelys as smit 1674-1705. (de Wet GC, Die vryliede en vryswartes in die Kaapse nedersetting, p68). In 1688 het hy sy smitswinkel aan Lourens Verbrugge oorgedra vir die helfte van die wins (p107, verw 1STB 18/152 kontrak 1.12.1687).
Op 8 November 1679 is die stad Stellenbosch gestig. Minder as drie weke nadat Simon van der Stel in 1679 by Kaap aangekom het as kommandeur van die nedersetting, het hy en 'n paar amptenare te perd 'n inspeksietog na Hottentots-Holland onderneem waar 'n paar vryburgers reeds gevestig het (vandag Somerset-Wes en omgewing). Nadat van der Stel se werk daar afgehandel was het hulle met 'n ompad teruggegaan. Op 8 November het hulle by 'n asemrowende landstreek uitgekom waar Harmen en 'n paar ander vryburgers gevestig was. Hulle het daardie aand op 'n eiland in die Eersterivier oornag. Op die eiland was daar baie pragtige hoë bome. Omdat geen kommandeur of goewerneur daar was nie, het Simon van der Stel die eilandjie Stellenbosch genoem.
Potgieter het ook aktief deelgeneem aan die openbare lewe van die klein gemeenskap as "wagmeester" van die artillerie. Kommissaris H.W van Reede het hom aangestel as 'n lid van die heemraad in 1685 (saam met Gert van der Bijl, Henning Husing en Jan Cornelis Mostert). Van Reede verwys na hom nie by sy van nie, maar verwys eerder na hom by wyse van sy aambag, Harmen Jansz Smit, soos wat wel dikwels die geval was in daardie tye. Hy het sy ambag by Stellenbosch voortgesit, en later sy stief-seun, Nicolaas Vechtman in die ambag opgelei. Hierdie stief-seun was 'n groot vriend van Adam Tas, wat na hom verwys het as die "kreupel vulkaan" - 'n verwysing na die kreupel Romaanse smit-god, Volcanus.