Før han og hans kone dro til København, hadde imidlertid Førster vært i Sverige på oppdrag fra Oncken. Den 21. september 1848 døpte Førster de første svenske baptistene i Vallersvik i Norra Halland i Sverige; det skjedde som «troende dåp», det vil si at de som ble døpt var voksne og selv ba om å få bli døpt. Det var den svenske baptistpredikanten F. O. Nilsson, som var blitt døpt av Oncken året før, som hadde ønsket at Førster skulle komme til Norra Halland for å døpe Nilssons kone, brødre og to andre. Om kvelden etter dåpshandlingene ble den første svenske baptistiske menighet etablert i Nilssons brors hjem «Borekullastugan»; dette var også Sveriges første frikirkelige menighet.