Torgersen er født og oppvokst på Blaker i Lillestrøm kommune, Han tok eksamen i psykologi ved Universitetet i Oslo i 1968 og var deretter ansatt ved Universitetet i Bergen før han kom tilbake til Oslo. Han er medlem av Det Norske Videnskaps-Akademi og underviste, veiledet og drev aktiv forskning lenge etter at han ble pensjonist.