В 1934 году князь Павел стал регентом при малолетнем короле Югославии Петре II. Он правил страной до подписания Тройственного пакта со странами оси 25 марта 1941 года в Вене. Это решение вызвало бурные протесты в Белграде и, при поддержке про-британски настроенных политиков и офицеров, Пётр II был провозглашён полноправным правителем. После вторжения гитлеровских войск Павел с семьёй эмигрировал сначала в Грецию, затем — в Египет. Вскоре британские войска перевели его под домашний арест в Найроби. Ольга последовала за мужем. В 1943 году из-за проблем Павла со здоровьем им разрешили переехать в Йоханнесбург. В 1947 году во время государственного визита короля Георга VI в Южную Африку состоялось примирение изганников с британским двором. В 1948 году, получив новые документы, семья прибыла в Швейцарию.