Sine første tre leveår tilbragte Prins Harald på Skaugum. Da Tyskland invaderede Danmark og Norge den 9. april 1940, flygtede kongefamilien, Stortinget og regeringen fra Oslo med tog. I Elverum blev prinsen skilt fra sin far, kronprins Olav, og blev evakueret til Sverige sammen med sin mor, kronprinsesse Märtha, og sine to storesøstre, prinsesse Ragnhild og prinsesse Astrid. Kongen og eksilregeringen i London bestemte efterfølgende, at kronprinsfamilien skulle evakueres videre med skib til endelig sikkerhed i USA, hvor de under resten af 2. verdenskrig boede i Pooks Hill i Maryland, lidt udenfor Washington D.C. i USA. De vendte tilbage til Norge efter frigørelsen i 1945.