抵达捷尔诺波尔，但遭到德国空军两次袭击。德军入侵苏联开始三天后，巴格拉米扬设想的防御计划得以实施，但是此时部队大多已经因为突然袭击而陷入混乱，反击行动也随之崩溃。巴格拉米扬参加了与德军在乌克兰西部的坦克大会战以及基辅战役，这场战役中他的上司米哈伊尔·彼得罗维奇·基尔波诺斯上将阵亡，巴格拉米扬则是此战中逃出德军包围圈的少数苏军高级军官之一。 巴格拉米扬随后得到元帅铁木辛哥赏识，指派他担任铁木辛哥部队参谋长，并且在稍后罗斯托夫战役与当时担任部队政委、日后是苏联总理的赫鲁雪夫认识且并肩作战，赫鲁雪夫在他回忆录