להאראלד שתי אחיות - הנסיכה רגנהילד, הדוכסית מלורנצן שהייתה גרה בברזיל, והנסיכה אסטריד, הדוכסית מפרנר הגרה באוסלו. בשל פלישת הגרמנים לנורווגיה, עזבו האראלד, אמו ושתי אחיותיו את נורווגיה ועברו להתגורר בעיר וושינגטון בארצות הברית; אביו וסבו המלך שהו בלונדון. המשפחה חזרה למולדתה רק לאחר סיום מלחמת העולם השנייה ב-1945.