Fredriksen ble født som sønn av sveiser ved Norges Statsbaner (NSB), Gunnar Fredriksen og kantinebestyrer Herdis Johanne Ørbæk. Han kom fra vanlige kår på Etterstad, Oslo østkant, i Norge, og da han i 1961 som 16-åring startet i skipsmeglingsfirmaet Blehr og Tenvig i Oslo hadde han ingen formell studiekompetanse utover det grunnleggende.