Fra 1979 til 1980 kommanderte Jazov den sovjetiske sentrale styrkegruppen i Tsjekkoslovakia. Han ledet militærdistriktet Den fjerne østen da han sommeren 1986, ifølge , gjorde inntrykk på generalsekretær Mikhail Gorbatsjov, som førte til senere forfremmelser. Jazov var Sovjetunionens forsvarsminister fra mai 1987, og var kandidat til medlemskap i politbyrået. Han var ansvarlig for at OMON-kommandoenheter ble sendt til Latvia og Litauen tidlig i 1991. Under augustkuppforsøket i 1991 var Jazov medlem av statskrisekomitéen, noe han ble tiltalt og frikjent for i 1994.