Da Otto var åtte år gammel ble foreldrene skilt og faren Thorleif flyttet tilbake til Norge i 1918. Otto og søsteren ble boende med moren i Wien, og det skulle gå mange år før de så faren igjen. Ella oppdro barna som alenemor og flyttet til en mer beskjeden leilighet i Wittegasse 8, som lå rett rundt kvartalet fra praktvillaen familien hadde bodd i før. Otto gikk på den prestisjefulle skolen Theresianum.