Po skončení 2. svetovej vojny ostal Jazov v armáde. Počas Karibskej krízy mu bola zverená misia dopraviť na Kubu motostrelecký pluk. Po návrate do Sovietskeho zväzu velil vojenskému okruhu na Ďalekom východe. V rokoch 19791980 bol veliteľom tzv. Strednej skupiny sovietskych vojsk dislokovanej na území bývalého Česko-Slovenska. Neskôr od mája 1987 do augusta 1991 pôsobil vo funkcii ministra obrany ZSSR. Mal podiel na organizovanom odchode sovietskych jednotiek z Afganistanu.