Rudzutak ble arrestert 24. mai 1937, anklaget for trotskisme og spionasje for Nazi-Tyskland. Han ble dømt til døden i en lite omtalt rettssak og henrettet. I 1956 ble saken mot Rudzutak gransket, han ble posthumt frikjent og fikk symbolsk tilbake sitt partimedlemskap. I sine memoarer påsto Anastas Mikojan at Lenin før sin død foreslo Rudzutak som generalsekretær for kommunistpartiet i stedet for Stalin, Mikojans memoarer er imidlertid det eneste sted hvor dette nevnes.