Baky ble fjernet fra sine embeder sommeren 1944 og ble så arrestert etter å ha konspirert, uten fremgang, om å anføre et kupp mot statssjefen Miklós Horthy, som kort før hadde beordret Edmund Veesenmayer til å stanse alle deportasjoner av jøder. Men det tok ikke lenger enn til oktober før Baky kom tilbake til makt etter at tyskerne assisterte Ferenc Szálasi og Pilkorspartiet til å gripe makten. Under Pilkortsjregjeringen fortsatte Baky sitt arbeide med deportasjoner og massemord.