Sammen med sin hustru Oddbjørg (f. Oddbjørg Frang), virket Tollefsen i daværende Belgisk Kongo (Den demokratiske republikken Kongo). Belgisk Kongo hadde da ikke noen protestantisk kristen virksomhet. Ekteparet fikk ingen barn sammen, men mens de var i Kongo, tok de til seg en gutt, Emanuel Minos. Han var blant de aller første adoptivbarn i Norge og ble senere en kjent forfatter og forkynner.