ゴルバチョフによって大抜擢される形で昇進し、ゴルバチョフ指導部に忠実な職業軍人と見られていたが、ペレストロイカによって民族主義が台頭し、リトアニアをはじめとした各共和国での独立運動を鎮圧するためにソビエト連邦軍が投入されて軍部の発言力が増大し、その一方で冷戦終結による大規模軍縮の発生で軍産複合体が支えてきた経済体制が軍民転換（コンヴェルシア）を迫られて崩壊する中、ヤゾフはゴルバチョフの政策が連邦を解体に向かわせるとして危機感を強め、次第に保守化していった。1991年の8月のクーデターでは、国家非常事態委員会に名を連ねたが、ロシア共和国大統領ボリス・エリツィンらの反撃によってクーデターが失敗すると、ヤゾフは軍部隊にモスクワ市内からの撤収を命令して大規模な軍事衝突を回避し、その後逮捕・収監された。