Han vokste opp på Bekkelaget, tok artium på Aars og Voss skole i 1895. Torgersen var ferdig lege i 1903, og arbeidet på Dedichens sinnssykeasyl i 1904. I 1912 fikk han et universitetsstipendium for å studere idrettsutøveres fysiologi.