Harald Pedersen var sønn av skipsbyggmester Niels Pedersen og Caroline Hansen Lie. Han vokste opp i Svelvik, Drammen og Larvik. Etter å ha vært til sjøs kom han inn på Sjøkrigsskolen, hvor han utdannet seg til offiser.