Narodil sa v obci Molokovo v Tverskej oblasti v rodine ruského roľníka 17. (podľa gregoriánskeho kalendára 30.) októbra 1917. V roku 1938 absolvoval Vojenskú ženíjnu akadémiu V. V. Kujbyševa. Počas druhej svetovej vojny pôsobil ako brigádny, plukový a neskôr divízny inžinier. Po vojne pôsobil v štábnych funckiách. V roku 1957 vyslaný na štúdium na Vojenskú akadémiu Generálneho štábu, ktorú absolvoval v roku 1959. Následne velil 20. gardovej motostreleckej divízii, ktorá bola umiestnená v rámci skupiny sovietskych vojsk v Nemecku. V rokoch 1968 – 1974 pôsobil ako zástupca náčelníka Generálneho štábu Ozbrojených síl ZSSR. Po vpáde vojsk Varšavskej zmluvy do ČSSR bol poverený spolu s česko-slovenským generálom A. Muchom riešením obnovenia činnosti ČSĽA. Neskôr od marca 1974 do januára 1977 pôsobil ako zástupca ministra obrany ZSSR. 8. januára 1977 bol zvolený za náčelníka Generálneho štábu ZSSR a zároveň zástupcom ministra obrany. 14. januára 1977 bol povýšený do hodnosti Maršala Sovietskeho zväzu. Bol odporcom sovietskej angažovanosti vo vojne v Afganistane.