Jego ojciec Maximilian Fuchs był żydem, matka Leopoldine chrześcijanką. Po wcieleniu Austrii do Niemiec w 1938 roku Maximilian wyjechał do Szanghaju, a mały Ernst został odebrany matce i umieszczony w obozie dla dzieci pochodzących z małżeństw mieszanych. Aby odzyskać dziecko, Leopoldine wyraziła zgodę na formalny rozwód, a w 1942 roku chłopiec został ochrzczony.