Za druhé světové války bylo Norsko napadeno Německem a Olaf společně se svým otcem odplul v červnu 1940 na palubě těžkého křižníku HMS "Devonshire" z Tromsø do londýnského exilu, kde organizoval „svobodné“ jednotky. Jeho manželka a děti zatím byly ve Švédsku a poté v USA. Celá rodina se vrátila zpět do Norska po skončení války v roce 1945. Olaf připlul do Osla v rámci operace Kingdom 13. května 1945 na palubě rychlé minonosky HMS "Apollo".