Narodil se v Mohylevské gubernii carského Ruska, na území dnešního Běloruska. Od roku 1932 působil v sovětské armádě jako profesionální voják. Zúčastnil se sovětsko-finské války v letech 1939-1940 a poté i druhé světové války jako velitel různých tankových útvarů. Zúčastnil se bitvy u Stalingradu roku 1942 a tankové bitvy u Kurska roku 1943. Roku 1944 získal (dvakrát) vyznamenání hrdina Sovětského svazu. V závěru války se pak účastnil berlínské a pražské operace. Po válce působil v různých funkcích v armádě. Od 60. let vstoupil do politiky. Roku 1961 se stal členem Ústředního výboru Komunistické strany Sovětského svazu, roku 1962 byl prvně zvolen poslancem Nejvyššího sovětu. Roku 1967 byl uveden do hodnosti maršála Sovětského svazu. Ve stejném roce byl jmenován prvním náměstkem ministra obrany Sovětského svazu a zároveň vrchním velitelem Spojených ozbrojených sil Varšavské smlouvy. Z pozice této funkce byl hlavním organizátorem vpádu vojsk Varšavské smlouvy do Československa v srpnu 1968. V roce 1970 mu byl udělen čestný titul hrdina Československé socialistické republiky.