Весной 1942 года как начальник штаба Юго-Западного направления Баграмян был одним из основных разработчиков Харьковской наступательной операции, завершившейся катастрофой. В результате ряда ошибок начавшееся в мае 1942 года с Барвенковского выступа наступление с целью овладения Харьковом не получило должного завершения. Немецкая армейская группа генерала Клейста нанесла удар по основанию выступа, отрезав его от основных сил. Войска Красной армии, находившиеся на плацдарме, оказались в окружении. Только отдельным окружённым частям удалось пробиться обратно за линию фронта. К 29 мая 1942 года ликвидация окружённых войск завершилась. По немецким данным было захвачено 240 000 пленных, более 1200 танков и 2000 орудий, потери немцев составили всего 20 000 человек. По советским данным, потери составили 277 тыс. человек, из них 171 тыс. — безвозвратно. В результате этой катастрофы противник получил возможность прорваться на Кавказ и к Сталинграду. Несмотря на то, что все решения в ходе боевых действий принимали Тимошенко и Хрущёв, Сталин назвал Баграмяна главным виновником поражения. От суда военного трибунала его спас Г. К. Жуков, заявивший Сталину, что вина за провал Харьковской операции лежит отчасти на Ставке и Генеральном штабе. Жуков отметил также, что опытных военачальников не хватает, и поручился за Баграмяна.