Nach der Verhaftung des bisherigen NKWD-Chefs Lawrenti Beria am 26. Juni 1953 war Rudenko mit der offiziellen Untersuchung betraut, die diesem eine parteifeindliche Verschwörung zu unterstellen hatte. 1956 rückte Rudenko als Gefolgsmann Chruschtschows in die erweiterte Parteiführung auf, er wurde Kandidat des Zentralkomitees der KPdSU. Er nahm am XX. Parteitag der KPdSU teil, auf dem Chruschtschow in seiner Geheimrede die an Parteimitgliedern begangenen Verbrechen Stalins verurteilte. In der Folge war Rudenko mit der Rehabilitierung einer begrenzten Gruppe von Mitgliedern der KP befasst, von denen allerdings keines früher der Parteiführung angehört hatte. Die Namen der im Auftrag Stalins ermordeten früheren Mitglieder des Politbüros wie Nikolai Bucharin, Lew Kamenew, Karl Radek, Grigori Sinowjew und Lew Trotzki blieben weiter tabu.