Jazov liittyi vapaaehtoisena puna-armeijaan 1941 valehtelemalla olevansa 18-vuotias, vaikka todellisuudessa hän oli vasta 17-vuotias. Hän taisteli suuressa isänmaallisessa sodassa. Hän opiskeli Frunzen sotilasakatemiassa 1956–1958 ja oli sijoitettuna Neuvostoliiton joukkojen ryhmään Itä-Saksassa, Leningradin sotilaspiiriin sekä Kuubaan ohjuskriisin aikaan. Jazov jatkoi opintojaan Vorošilovin yleisesikunta-akatemiassa.