1950 wurde er in einem Artikel der Parteizeitung "Prawda" hinsichtlich des von ihm eingeführten Sweno-Systems – natürlich auf Intervention von Stalin – scharf kritisiert. Er musste sich – ebenfalls in der "Prawda" – selbst kritisieren und sich für das dann übliche Brigade-System (Gliederung in größeren Gruppen) in der Landwirtschaft aussprechen. Anfang 1952 wurde er von Stalin willkürlich von der Teilnahme an den Politbürositzungen ausgeschlossen (Chruschtschow berichtet darüber 1956 in seiner Geheimrede zum XX. Parteitag der KPdSU). Im Oktober 1952 verlor er auch formell auf dem XIX. Parteitag seine Spitzenämter, blieb aber nach seiner Degradierung durch Stalin trotzdem Mitglied des Zentralkomitees der Partei.