Bagramián contribuyó decisivamente a la planificación de dos contraofensivas soviéticas contra los alemanes, incluyendo el empuje principal hecho por fuerzas soviéticas en diciembre durante la batalla de Moscú, y para esto fue ascendido a teniente general. En el mismo mes, fue asignado jefe de estado mayor de un grupo de operaciones militares que supervisaría tres frentes de ejército: el Del sur, el Del sudoeste y el de Briansk.En marzo de 1942, acompañó a Jrushchov y Timoshenko a Moscú para presentar a Stalin los proyectos de una nueva contraofensiva en la ciudad ucraniana de Járkov. Stalin, impresionado por su plan, aprobó la operación y el 8 de abril, promovió a Bagramián como Jefe de Estado Mayor del Frente Sudoeste. El 12 de mayo de 1942, los ejércitos del Frente Sudoeste atacaron Járkov pero el inicio de la ofensiva vino en un momento inoportuno ya que atacaron el Saliente de Barvénkovo, justo cuando los alemanes se estaban reforzando para lanzar la operación Fall Blau.