Sin embargo, en 1957, fue obligado a renunciar una vez más por participar, junto con Nikolái Bulganin, Viacheslav Mólotov y Lázar Kaganóvich (el llamado Grupo Antipartido) en un intento fallido de privar del poder a Jrushchov.