W latach 1945–1946 był dowódcą Centralnej Grupy Wojsk Radzieckich i wysokim komisarzem w Austrii. W trakcie sporu Gieorgija Żukowa z Józefem Stalinem, wraz z innymi oficerami, poparł marszałka. Po jego dymisji ze stanowiska naczelnego dowódcy wojsk lądowych w 1946 objął tę funkcję. Został też zastępcą ministra obrony ZSRR. W latach 1950–1951 został głównym inspektorem Armii Radzieckiej. W roku 1950 był deputowanym do Rady Najwyższej ZSRR, a w roku 1952 – członkiem Komitetu Centralnego KPZR. W latach 1952–1955 pełnił funkcję dowódcy Karpackiego Okręgu Wojskowego. W 1955 po utworzeniu Układu Warszawskiego, był pierwszym dowódcą jego zjednoczonych sił (do roku 1960). W tym samym czasie pełnił funkcję pierwszego zastępcy ministra obrony ZSRR (1956-1960). W roku 1956 dowodził stłumieniem antykomunistycznego i antyradzieckiego powstania na Węgrzech. W latach 1961-1962 w okresie kryzysu berlińskiego był głównodowodzącym wojskami radzieckimi w NRD.