Harald y sus ocho hermanos crecieron en el exilio en Dinamarca, después de que Haakon I -su tío paterno- se había apoderado del trono noruego.