Dopo la guerra continuò la carriera militare divenendo il principale consigliere militare e il ministro della difesa durante il periodo di potere di Nikita Sergeevič Chruščёv, divenendo un simbolo della potenza militare sovietica e mostrando sempre posizioni di rigida contrapposizione verso gli Stati Uniti; il maresciallo svolse un ruolo importante anche durante la Crisi dei missili di Cuba.