Sus abuelos paternos, Hermann Christian y Fanny Wittgenstein (que era una prima primera del famoso violinista Joseph Joachim), eran ambos nacidos en familias judías pero más tarde convertidas al protestantismo, y después de que se trasladaran de Sajonia a Viena en los años 1850, se asimilaron a las clases profesionales protestantes vienesas.