Torgersen spilte for juniorlaget til Viking under utbruddet av andre verdenskrig, men fikk sin debut for Stavangerlaget etter freden og spilte tilsammen 130 kamper frem til 1950. Han deltok også på Vikinglaget som spilte seg frem til finale under Norgesmesterskapet 1947, hvor Viking tapte 0–2 til fordel for Skeid. I 1950 dro han på et proffopphold hos den franske hovedstadklubben Stade Français Paris, hvor han kun ble én sesong. Han fikk sin andre debut for Viking først i 1958, men fikk kun fem seriekamper før han la opp som aktiv spiller i 1960.