Po skončení druhej svetovej vojny zostal veliaci sovietskych vojsk na Ďalekom východe. Účastnil sa na prípravách severokórejských a čínskych vojsk pred Kórejskou vojnou. Po Stalinovej smrti v roku 1953 ho Nikita Sergejevič Chruščov ako spoľahlivého odborníka poveril velením sovietskej armády a rovnako i funkciou zástupcu ministra obrany, ktorým bol v tej dobe Georgij Žukov. Od októbra 1957 nahradil vo Žukova v tejto funkcii a viedol ministerstvo až do svojej smrti. Počas tohto obdobia súhlasil s rozvojom strategického raketového vojska, ktorého hlavnú výzbroj tvorili nukleárne zbrane, no považoval ich iba za opatrenie, ktoré zabráni ďalším veľkým konfliktom a ďalej preto presadzoval rozvoj konvenčných zbraní a armády. Tá podľa jeho mienky musela byť nielen dobre vyzbrojená, ale i kvalitne vycvičená a pripravená viesť bojové operácie. Dokázal tak udržať krok s USA nielen vo vývoji atómových zbraní, ale i kvalite pozemného vojska.