Był przeciwnikiem pieriestrojki i przyłączył się do organizacji puczu moskiewskiego przeciwko reformatorskim władzom ZSRR (kierowanym przez prezydenta Michaiła Gorbaczowa). Puczyści z 18 na 19 sierpnia 1991 aresztowali Gorbaczowa, ogłosili przejęcie władzy, ale wskutek braku wystarczającego poparcia, nawet w armii, zostali wkrótce obaleni i aresztowani. Jazow trafił do więzienia, jednak dzięki amnestii z 23 lutego 1994 został zwolniony i odzyskał wojskową emeryturę.