У липні — вересні 1941 року бере участь у Битві за Київ, яка закінчилася поразкою. Йому вдалося вивести з оточення двадцятитисячну групу військ. Навесні 1942 брав участь у проведенні Харківської операції, але знову зазнав важкої поразки, понад 200 тисяч радянських солдатів потрапило в полон. В результаті цієї катастрофи противник отримав можливість прорватися на Кавказ і до Сталінграда. Незважаючи на те, що всі рішення в ході бойових дій приймали С. К. Тимошенко і М. С. Хрущов, Сталін назвав Баграмяна головним винуватцем поразки. Від суду військового трибуналу Баграмяна врятував Г. К. Жуков. Він заявив Сталіну, що провина за провал Харківської операції лежить частково на Ставці Верховного Головнокомандування. Жуков також зазначив, що в армії не вистачає досвідчених воєначальників.