Баграмян е издигнат в звание генерал-лейтенант за участието си в планирането на две съветски контраофанзиви, включително голямото зимно настъпление през декември, част от битката за Москва. Същият месец той е назначен за началник щаб на група за военни операции, която отговаря за три групи армии: Южен, Югозападен и Брянски фронт. През март 1942 г. заедно с Хрушчов и Тимошенко отиват в Москва, за да представят на Сталин план за ново контранастъпление в посока Харков. Операцията е одобрена, а на 8 април Сталин повишава Баграмян в началник щаб на Югозападния фронт. На 12 май 1942 г. армиите на Югозападния фронт атакуват в посока Харков от Барвенковската издатина, в момент, в който немските войски са концентрирани там в подготовка за ликвидиране на същата тази издатина.