Opprinnelig er Tørset fra Børsa i Skaun i Trøndelag. Han har lærerutdanning fra Bodø, teknisk befalsskole fra Kjevik og ellers studier i samfunnsøkonomi, historie og spesialpedagogikk. I yrkeslivet har han være rektor i Vestvågøy og skolesjef og kommunaldirektør i Bodø.