Stalin fu notevolmente impressionato dai nuovi piani e nominò Bagrmjan Capo di Stato Maggiore per il Fronte Sud-Occidentale. Il 12 maggio 1942 le sue nuove truppe attaccarono la città di Kharkov per riconquistarla, ma trovandosi ad attaccare partendo dal saliente di Barvenkovo, dopo aver temporaneamente riconquistato la città si trovarono intrappolate in una sacca ed accerchiate dalle truppe tedesche. Quando Bagramjan chiese al generale Timoshenko il 18 maggio 1942 supporto per uscire dalla sacca, quest'ultimo, per volere dello stesso Stalin, rifiutò qualsiasi aiuto e negò a Bagramjan la possibilità di modificare il piano tattico. Ciò comportò una totale disfatta con la perdita totale della VI, IX e LVII Armata (circa 20 divisioni), per la quale Bagramjan venne rimosso il 28 giugno 1942 per ordine della STAVKA.