當紅軍起先勝利在望的「第二次哈爾科夫戰役」，此時他們已經自我發現大勢不妙：紅軍踏入德軍設計包圍圈且即將在巴文科伏地區收網合圍；5月18日巴格拉米扬要求谢苗·康斯坦丁诺维奇·铁木辛哥元帥應該緊急修改原訂作戰計劃，但是鐵木伸哥認為史達林對原議沒有意見，所以他也拒絕修改。導致蘇聯紅軍此仗慘敗，失去紅軍第6集团军全部，及第9集团、第57集团(接近18–20師，約有25萬紅軍)佔了西南方前線戰區大部份兵力，6月28日蘇聯參謀總部調離巴格拉米扬「西南戰區參謀長」職務，根據赫魯雪夫描述，巴格拉米扬在此戰結束後收到紅軍損失這麼多兵力惡耗後精神倍遭打擊，"他的眼淚潰堤般湧出，號啕大哭...他為紅軍弟兄而哭泣."負起戰敗責任及參謀謀略失算，他被降調為蘇聯紅軍第28集团军參謀長.數天後，他寫信給史達林請求派給他在戰場上將功補罪的機會。."英國軍事歷史學者John Erickson認為巴格拉米扬是為史達林犯的錯代受罪。