I juni 1941 brøt Tyskland Molotov–Ribbentrop-pakten, igangsatte Operasjon Barbarossa og invaderte Sovjetunionen. i motsetning til de fleste sovjetiske grensepatruljene langs grensene som ble totalt overrumplet av det tyske angrepet hadde Bagramyan og flere av hans kollegaer ment at et angrep fra Tyskland ville være uunngåelig. Bagramyan var medvirkende i planleggingen av to store sovjetiske motoffensiver for å slå tilbake de fremrykkende tyske styrkene. Etter den andre verdenskrig begynte Bagramyan som inspektør i det sovjetiske forsvarsdepartementet frem til han pensjonerte seg i 1968.