Die NG gemeente Caledon is in 1811 as agtste gemeente van die Nederduitse Gereformeerde Kerk gestig. Godsdienstige ingesetenes van die streek wat destyds "het Zwartberg" of "het warme Bad" genoem is, kon weens die verre afstand en gevaarlike pad net een keer per jaar na Swellendam gaan – die gemeente waaronder Caledon toe nog geval het – en daarom rig W. Wessels, P.L. de Bruyn, J.R. Maree en H.J. Swart 'n versoek aan die regering en vra verlof om 'n kerk te bou waartoe hulle na vermoë soveel moontlik sal help bydra. Die regering het op 21 Desember 1810 die plaas waar die warmbad is, van J. Rademan vir 10 000 rds. aangekoop en erwe verkoop. Op 27 Mei 1811 is die eerste kerkraadslede deur die adjunk-landdros benoem en deur die regering goedgekeur. Ds. M.C. Vos, een van die eerste Afrikaners wat predikant geword het en in Europa, Afrika en Asië gearbei het, is as predikant benoem. Toe hy in Mei 1811 sy dienswerk aanvaar, was daar nog geen kerkgebou of pastorie nie.