Hij was tijdens Operatie Barbarossa commandant van het tweede front in Oekraïne. Hij sloeg tijdens de Slag om Stalingrad de tankaanval van Hermann Hoth af, zodat die het zesde leger van Friedrich Paulus niet kon ontzetten uit de omsingeling. In 1944 bezette hij Roemenië en stootte door naar Hongarije en in 1945 naar Wenen. In 1957 werd hij minister van defensie in opvolging van Georgi Zjoekov. Hij werd tweemaal onderscheiden als Held van de Sovjet-Unie.