В 1949 году был снят с поста министра внешней торговли, а в 1952 году Иосиф Сталин обрушился на него с нападками на пленуме ЦК после XIX съезда, он и Молотов были подвергнуты уничтожительной критике. Он был избран в Президиум ЦК, но не был включён в бюро Президиума, заменившее Политбюро.