In die Gereformeerde kerk Steynsburg was ds. Pelser die opvolger van ds. Dirk Postma die jongere. Ds. Pelser was toe reeds ’n ervare predikant met langer as 20 jaar se ervaring. Op 27 November 1897 is hy in die gemeente gevestig. Die skaduwee van die oorlogsjare (1899–1902) het ook oor die gemeente Steynsburg geval. Die gemeente het met sy broeders en susters in die Noorde meegeleef wat gewikkel was in 'n bloedige vryheidstryd. Hoewel die bedieningstyd van ds. Pelser gekenmerk is deur 'n kroniese tekort in die kerkkas en dit maar 'n voortdurende worsteling was om kop bo water te hou, was daar tog 'n oop hand vir hulle in die verdrukking. Die spesiale kollektes in die gemeente gehou, herinner hieraan: 'n kollekte vir gewondes, weduwees en wese van gesneuweldes in die oorlog. 'n Kollekte vir die krygsgevangenes. Twee kollektes vir Bybels aan die krygsgevangenes op Ceylon. Op sy vergadering van 24 November 1900 het die kerkraad besluit om in elke wyk 'n kollektant te benoem om te kollekteer vir "onze verarmde Broeders en Zusters in de Republieken".
Hy was predikant van Steynsburg terwyl die Tweede Vryheidsoorlog gewoed het en toe volk en kerk in 'n staat van ontreddering verkeer het. Sy bedieningstyd hier is gekenmerk deur stoflike "gedruktheid", sodat dit 'n worsteling was om die kerklike finansies aan die gang te hou. Ds. Pelser het sy bedieningslewe in Steynsburg beëindig gesien onder 'n donker wolk van beproewing. Op 14 Februarie 1901 gee die kerkraad hom 'n maand verlof vanweë ongesteldheid in sy keel. Op sy vergadering van 12 April 1901 deel prof. Cachet die kerkraad mee dat ds. Pelser 'n gevaarlike keelkwaal het, ongetwyfeld was dit kanker. Hy sou nie weer in die gemeente optree nie. Op 7 Junie 1902 is hy oorlede en op Steynsburg begrawe.