Pedersen var bosatt i Helgeroa i Larvik. Han er storebror til syklisten Atle Pedersen og sønn av sykkelpresident og skøytepresident Odd Pedersen.