Baghramjanista tuli vuonna 1940 ensin 12. armeijan ja sitten Kiovan sotilaspiirin esikunnan operatiivisen osaston päällikkö. Saksan hyökkäyksen alkaessa vuonna 1941 hänet nimitettiin aluksi lounaan rintaman esikunnan operatiivisen osaston päälliköksi, mistä hän siirtyi saman rintaman operatiivisen ryhmän päälliköksi. Hän suunnitteli puolustusoperaatioita ja vastahyökkäyksiä Ukrainassa, ja pakeni syyskuussa 1941 viime hetkellä miehineen saarretusta Kiovasta. Joulukuussa 1941 Baghramjan nimitettiin Semjon Timošenkon komentaman lounaisryhmän esikuntapäälliköksi ja hänet ylennettiin kenraaliluutnantiksi. Huhtikuusta 1942 alkaen hän oli samalla lounaan rintaman esikuntapäällikkönä. Kesäkuusta 1942 alkaen Baghramjan komensi 16. armeijaa, joka huhtikuussa 1943 muutettiin 11. kaartinarmeijaksi. Hän osallistui kesällä 1943 Kurskin taisteluun liittyneisiin operaatioihin Orjolin luona.