Toisen maailmansodan jälkeen Baghramjan oli vuosina 1945–1954 Baltian sotilaspiirin komentajana. Sen jälkeen hän toimi vuosina 1954–1956 Neuvostoliiton puolustusministeriön päätarkastajana, vuosina 1956–1958 yleisesikunta-akatemian johtajana ja vuodesta 1958 Neuvostoliiton apulaispuolustusministerinä sekä huoltojoukkojen komentajana. Hän sai Neuvostoliiton marsalkan arvon vuonna 1955. Baghramjan oli vastuussa vuoden 1962 Kuuban ohjuskriisiin johtaneesta operaatio Anadyristä, jossa suuri määrä neuvostojoukkoja ja aseita laivattiin Kuubaan. Huhtikuussa 1968 hän siirtyi eläkevirkaan puolustusministeriön alaiseksi joukkojen ylitarkastajaksi.