Ekteskapet mellom Magda og Joseph var vanskelig fra første stund. De var to viljesterke mennesker, vant til å få det som de ville. Begge hadde affærer «på si», og Joseph vurderte seriøst skilsmisse. Hitler ble rasende da Joseph ville skille seg fra Magda til fordel for Lida Baarová, en berømt tsjekkisk skuespillerinne han hadde et forhold til. Magda klaget til Hitler, som også kjente Baarová, og tok Magdas parti. At en i toppsjiktet kunne ofre de tradisjonelle familieverdiene var helt utelukket, og Baarová ble utvist. Magda på sin side hadde hatt et forhold til den senere gauleiter i Breslau, Karl Hanke.