Prinsesse Ragnhild voksede op med sin søskende på kronprinsparrets residens, gården Skaugum i Asker sydvest for Oslo. Ved det tyske angreb på Norge i 1940 under Anden Verdenskrig, flygtede hun fra Norge med sin familie og tilbragte krigsårene i eksil med sin moder og søskende i Washington, D.C.