Torgersen kom fra et fattig hjem og hadde et dårlig rulleblad. I 1952 fikk han en betinget dom på seks måneders fengsel for vold mot politiet, legemsfornærmelse og tyveri. I 1954 ble Torgersen dømt til bot for å ha slått ned en middelaldrende mann. I 1954 ble han også dømt til seks måneders fengsel for forsøk på innbruddstyveri på et sykehjem, en straff som ble gjort betinget ved benådning. I 1956 ble han dømt til tre og et halvt års fengsel og fem års sikring for voldtektsforsøk på «fru K» på Løkken i august 1955. Aktor i voldtektssaken var Lauritz Dorenfeldt, som også var aktor i selve Torgersen-saken. Torgersen ble i 1971 dømt for overfall på en fengselsvakt.