Under andre verdenskrig ble familien internert på et hotellrom i to måneder ettersom hennes sønner hadde tjenestegjort i den danske hær, men de dro også på seg beskyldninger for nazisme-vennlighet da de gav støtte til de russere som lot seg verve i den tyske hær for å kjempe mot Sovjetunionen. Dette førte også tll att Sovjetunionen ved krigsslutt i 1945 i et brev til den danske regjering anklaget Olga for konspirasjon mot Sovjetunionen.