Sine første tre leveår tilbrakte prins Harald på Skaugum. Da Tyskland invaderte Norge 9. april 1940, flyktet kongefamilien, Stortinget og regjeringen fra Oslo med tog. På Elverum ble prinsen skilt fra sin far, kronprins Olav, da han sammen med sin mor, kronprinsesse Märtha, og sine to eldre søstre, prinsesse Ragnhild og prinsesse Astrid, ble evakuert til Sverige.