Operation Panzerfaust
しかし、ユダヤ人の強制移送を進めたことでホルティの反感を買ったため解任されそうになるが、ヒトラーの介入により慰留された。その後、ホルティは8月7日にユダヤ人の強制移送を停止させると同時にイムレーディを財務大臣から解任し、ストーヤイに圧力を掛けた。病気のため入院していたストーヤイは24日に辞任することに合意し、29日に首相を辞任し、親英米派のラカトシュ・ゲーザ将軍が後任の首相になった。10月15日のパンツァーファウスト作戦でホルティとラカトシュが失脚した際は病気のため再任されず、矢十字党のサーラシ・フェレンツが新首相に任命された。