Storesøsteren Ilse ble i 1929 ansatt som resepsjonist for en jødisk lege, Martin Levy Marx, som ble hennes kjæreste. Etter Nürnberglovene var dette en ulovlig forbindelse. Etter hvert ble Ilse sekretær for Albert Speer. Dr Marx ble som jøde ekskludert fra legestanden, men lyktes i å utvandre til USA.