Pada tahun 1971-1973, ia menjadi komandan Korps Angkatan Darat ke-32 di wilayah Krimea di Distrik Militer Odessa. Pada tahun 1979–1980, Yazov adalah komandan Grup Pasukan Sentral di Cekoslowakia. Ia memimpin Distrik Militer Timur Jauh pada musim panas tahun 1986, menurut majalah "Time", ia membuat kesan yang baik pada Sekretaris Jenderal Mikhail Gorbachev, yang menyebabkan dirinya kemudian mendapatkan promosi jabatan. Ia memegang jabatan Menteri Pertahanan Uni Soviet sejak 30 Mei 1987, setelah Marsekal Sergei Sokolov dipecat akibat insiden Mathias Rust dua hari sebelumnya. Dari bulan Juni 1987 hingga Juli 1990, Yazov adalah calon anggota Politbiro. Ia adalah bagian penting dari peristiwa Januari Hitam. Yazov bertanggung jawab atas penempatan unit komando OMON Rusia ke Latvia dan Lituania pada awal tahun 1991. Selama kudeta bulan Agustus 1991, Yazov adalah anggota Komite Darurat Negara, di mana ia dipecat dari jabatannya oleh Gorbachev. Selama periode Yeltsin, Yazov dituntut dan dibebaskan pada tahun 1994.