Po druhé světové válce, které se aktivně účastnil, studoval na vojenských školách a stal se vojákem z povolání. V 70. letech sloužil také v Československu a v letech 1979 - 1980 se dokonce stal velitelem okupačních vojsk v této zemi. V osmdesátých letech sovětská vojska prohrávala v afghánské válce a v květnu 1987 se západoněmeckému mladíkovi Mathiasi Rustovi podařilo na jednomotorovém letadélku Cessna 172 proniknout celou západní radarovou clonu Sovětského svazu a přistát na Rudém náměstí. Tohoto fiaska využil Michail Gorbačov k odvolání nejvyššího vedení armády a jmenování vlastního člověka, nepříliš významného generála Dmitrije Jazova do funkce ministra obrany. V roce 1990 byl jmenován maršálem SSSR. V tomto období se připojil k protigorbačovským konzervativcům, jak dokládá jeho vystoupení na neveřejném zasedání zákonodárného sboru, kde společně se šéfem KGB Krjučkovem a ministrem vnitra Pugem prohlásili, že země se v důsledku Gorbačovovy politiky řítí do katastrofy. Na tuto situaci reagoval Michail Gorbačov tajnou schůzkou s Borisem Jelcinem a kazašským prezidentem Nursultanem Nazarbajevem, při níž se dohodli o odvolání sovětského premiéra Pavlova, šéfa KGB Krjučkova a ministra obrany Jazova. V místnosti však bylo namontováno odposlouchávací zařízení a Krjučkov se tak o tomto záměru dozvěděl. 5. srpna 1991 se po Gorbačovově odjezdu na krymskou dovolenou sešli sovětští konzervativci a přistoupili k přípravě převratu. Ten začal 19. srpna o pravoslavném svátku Proměnění Páně a trval tři dny. Řízení země se ujal Státní výbor v čele s viceprezidentem Gennadijem Janajevem. Členy výboru se stali Krjučkov, Pugo, Pavlov a také Dmitrij Jazov. Puč byl nakonec neúspěšný. Dmitrij Jazov nebyl sice trestně stíhán, musel však odejít do penze.