Etter at Ella og Thorleif ble skilt i 1918 ble hun boende i Wien med de to barna på åtte og ni, mens Thorleif dro hjem til Norge. «Så ble da disse tre stående i livet hennes: musikken, litteraturen og barna. Men størst av dem var barna», skrev Paus om bestemoren. Det skulle gå mange år før de da voksne barna tok opp igjen kontakten med faren.