Moren Gabriele Stein ble født 20. oktober 1883 i Wien som datter av dr.jur. og advokat i Wien August Stein (1852–1890) og Josefine Elisabeth Wagner (1850–1933). Hennes far August Stein var opprinnelig jødisk, mens moren hadde katolsk bakgrunn, og foreldrene ble gift i det jødiske trossamfunnet i Wien i 1877. August var oppvokst i sentrum av det jødiske kvartalet rundt Judenplatz i bydelen Innere Stadt, der faren Alois Stein (1817–1884) var ull- og bomullsvarefabrikant og manufakturhandler og siden «privatier», dvs. velstående privatmann. Josefine var datter av Joseph Eduard Wagner, som var linnedhandler, og Louise Ernest. I 1877 meldte August Stein seg ut av det jødiske trossamfunnet. Året etter at farfaren døde ble Gabriele, da halvannet år gammel, katolsk døpt i Stefansdomen 23. mai 1885 sammen med brødrene Arthur (1878–1940) og Otto (f. 1885), og faren måtte som ikke-kristen føre vitner for at han ville oppdra barna katolsk. Etter å ha latt sine tre barn døpe konverterte også faren til katolisismen året etter og ble døpt i Stefansdomen 28. januar 1886. Samme dag ble Ellas foreldre også gift etter katolsk ritus i Stefansdomen, ni år etter at de giftet seg i det jødiske trossamfunnet. Ellas farmor Karoline (1817–1899) forble medlem av det jødiske trossamfunnet frem til sin død i 1899, og hun og Alois er begravet på den gamle jødiske gravlunden på Zentralfriedhof i Wien; graven eksisterer fremdeles. Ella vokste opp i Innere Stadt, ikke langt fra besteforeldrene. Ved ekteskapet med Thorleif trådte Ella ut av den katolske kirke, og ble medlem av Den norske kirke. I sin biografi skrev Ole Paus at familien aldri snakket om Ellas familie i Østerrike, og at det eneste han visste om hennes familie var navnet på hennes bror Otto Stein, som døde i slaget ved Verdun i 1917: «Bortsett fra grandonkel Otto ble ingen i Mullerls familie noen gang nevnt eller omtalt».