Sin embargo, Bagramián murió pocos meses después, el 21 de septiembre de 1982, como consecuencia de una prolongada enfermedad a los ochenta y cinco años; era aún miembro del comité central del Partido Comunista de la URSS y viceministro de Defensa, fue enterrado con todos los honores militares en la Necrópolis en el muro del Kremlin de Moscú.