Toe hy van Philipstown vertrek, was die messelwerk van die teenwoordige kerkgebou klaar en moes ’n begin met die timmerasie gemaak word. Met sy afskeid van die gemeente is hy soos gebruiklik deur die voorsitter van die kerkraad van Philipstown, wyle prof. Jan Lion Cachet, wat toe daar predikant was, bedank. In die bedanking is met erns en nadruk die volgende wens uitgespreek:
​Dit was die rede waarom hy eers in 1880 by Swemkuil aangekom het. Nog in dieselfde jaar het hy op ’n smoustog met meel die hele suidelike deel van Griekwaland-Wes verken en die land het hom baie goed beval. In 1881 het die eerste opvolger daar aangesluit. Dit was Petrus Jacobus Venter en sy familie. Hy was kerkraadslid in Philipstown en het daar weggetrek om ruimte vir sy familie te soek.
Hy het eerste die rivier oorgesteek en op die duskantste wal in die nuwe land sy tent kom opslaan. Die verkeer tussen die twee families is in standgehou deur middel van ’n vlot van droë wilgerstompe gemaak. Op ’n sekere dag het Piet Venter die land 2 uur te perd ver ingekom om dit te besien. Hy het op ’n plaas aangekom. Die man was nie tuis nie; net sy vrou. Hy het toe aan haar die deel van sy reis vertel: Hy gekom om na die land te kyk. want hy is van plan om verder in die wêreld in te trek. Die vrou antwoord hom toe: “Ja, neef, die land is groot en wyd en goed, maar op Swemkuil, verstaan ek, is Doppers wat ook hiernatoe wil intrek en ek het gehoor dat hulle so ’n koddige soort mense is.”
Sy het toe beleefd ekskuus gevra, want volgens gerugte het sy haar glad ’n ander voorstelling van die mense gemaak.
​Met sy eerste besoek in hierdie wêreld het A.J. Viljoen die plaas Swartkop (toe Vaalwater) gesien. Toe hy hoor dat die plaas te koop was, het hy aan Piet Venter kennisgegee dat hy van plan is om daarheen te gaan. Hy en sy seun Jan (J.J. Viljoen) en P. Venter het die tog daarheen met kar en perde gemaak. Hy het Swartkop gekoop en P. Venter Droëkloof.
Die eerste woning van A.J. Viljoen was ’n tent. ’n Halfuur ver moes hy water aanry vir gebruik. Hierdie gesukkel het meer as ’n jaar aangehou eer hy water genoeg gekry het vir die boerdery. Sulke moeilikhede het die eerste intrekkers baie ondervind. P.J. Venter was gelukkiger, Droëkloof het oop water gehad en hy kon dadelik begin bou. In die tussentyd het ook Sarel Venter (Bosaar), Jakobus Coetzee (ou Oom Koos) met ’n paar ander gesinne ingetrek, toe is ook ontdek dat op Wietspan ’n familie Johannes van der Linde van die Geref. Kerk woon.
Die eerste kerk in Griekwaland-Wes was belê op Droëkloof. Daar het 20 lidmate bymekaargekom en geluister na die blyde hemelse klanke van die eerste evangelieprediking in Griekwaland-Wes van ’n Gereformeerde predikant, ds. Cachet. Sy vertroostende, bemoedigende en vermanende woorde het soos druppels, as die reën te lank weggebly het, in die uitgedorde akkers van die harte ingesink. Daar het die psalms, gebede en die trane van aandoening (want die stem van ’n predikant was lank, lank laas gehoor), die nog onbewoonde Griekwaland-Wes gewys vir ’n nuwe arbeidsveld vir die Gereformeerde Kerk.
In die tussentyd het nog verskeie families van Philipstown hierheen gekom. Vir dié intrekkers moes voorsiening gemaak word vir voorlopige staanplek. Die enigste geskikte plek was Matsap. Omdat die huurder die mense, nieteenstaande die vergoeding wat hulle moes betaal, baie sleg behandel het, het A. J. Viljoen toe die plaas, om die mense te beskerm, gaan huur. Daar het soms 8 tot 10 trekke gestaan. Dit het die eerste huurder so misnoeg dat hy aan die hekpaal van ’n takkraal ’n plakkaat opgehang het met die volgende woorde: A.J. Viljoen is die Voorduiwel van die doppers; hy het Matsap tot ’n dopper-lokasie gemaak.
Die stigting het op Swartkop onder gespanne bokseile plaasgevind. Daar het die afgevaardigdes van die Algemene Vergadering met die gemeentelede saam vergader op 14 Julie l883. Die voorsitter, ds. Cachet, het die vergadering geopen en toe ’n rede gehou oor Ps. 105 : 8, 9:
Eers was besluit om ’n kerkgebou op Swartkop op te trek, maar hierdie plan is nie uitgevoer nie weens die vertrek van ouderling Viljoen na Ploegfontein. Daar is die eerste kerk gebou tot tyd en wyl ’n plek vir ’n dorp aangewys sou word. Tot sover was daar nog geen skole nie. Die seuns het die vader in die boerdery gehelp en dogters die moeder in die huis. Agter die vee moes die wagtertjies hulle Kortbegrip-vraeboek en Bybel saamneem, en die dogters moes ook in die huis tyd maak om vrae en Bybelgeskeidenis te leer.