Han var medlem av Drammen bystyre i 12 år og av Buskerud fylkesting i to perioder. Torgersen var fylkesleder i Buskerud KrF 1974–78, og formann i Buskerud krets av Norsk Søndagsskoleforbund 1959-1962. Han hadde også verv i indremisjonen og ved Danvik Folkehøgskole.