Da er unter Chruschtschow für den Parteiausschluss von Altstalinisten wie Malenkow, Kaganowitsch und Molotow gestimmt und Chruschtschows Kubapolitik kritisiert hatte, fand er sich zwischen zwei Stühlen wieder und wurde am 11. Mai 1961 entlassen. Es gelang ihm im Ruhestand nicht, sich zu rehabilitieren, wodurch ihm Tätigkeiten in Forschungseinrichtungen verwehrt blieben. Auch die anderen Marschälle mieden ihn, den Politkommissar, der tief in die Säuberungen verwickelt, in die militärische Hierarchie eingedrungen war.