Dmitri Iazov s'engage dans l'Armée rouge en 1941. Après avoir suivi une formation à l'école d'infanterie du Soviet suprême de la RSFSR de Moscou, en , il est affecté sur le front de Leningrad, puis, sur le front de Volkhov et participe également à l'opération dans la Poche de Courlande. En 1944, il rejoint les rangs du Parti communiste de l'Union soviétique. Ses exploits sont récompensés par l'ordre de l’Étoile rouge et la médaille pour la Défense de Léningrad en 1945.