După iunie 1944, Horthy a fi vrut să-l demită din funcție pe Sztójay, dar nu mai deținea puterea de facto necesară. După unele surse, Horthy ar fi încercat și să-și folosească influența, fără succes, ca să oprească deportarea evreilor. În cele din urmă, sub presiunile mai multor factori internaționali (ca de pildă apelurile Vaticanului) la 7 iulie Horthy a ordonat oprirea deportărilor de evrei în lagărele din Polonia. Sztójay, în acest moment, i s-a alăturat. Béla Imrédy a hotărât să părăsească guvernul în semn de protest față de exproprierea de către SS și Gestapo a bunurilor evreilor. Profitând de o anumită confuzie creată în Germania după Atentatul din 20 iulie 1944 împotriva lui Hitler, precum și noua situație creată de căderea lui Ion Antonescu în România, la 29 august 1944 Horthy a izbutit să -l îndepărteze din funcție și pe primul ministru Sztójay „din motive de sănătate”,