Kristoffersen vokste opp på Rosøya og Onøya i Lurøy kommune på Helgelandskysten. Han arbeidet som fisker og sjømann, men tok så artium og påbegynte jusstudier ved Universitetet i Oslo samtidig som han arbeidet som korrekturleser i Arbeiderbladet.