I 1923 ble Bagramyan utnevnt til kommandør av et regiment i Alexandropol, en stilling han hadde frem til 1931. To år senere ble Bagramyan uteksaminert fra kavaleriskolen i Leningrad og i 1934 ble han uteksaminert fra Frunze Military Academy. Fra 1934 til 1936 var Bagramyan stabssjef i en kavaleridivisjon og i 1936 begynte han som instruktør og foreleser ved militærakademiet for den sovjetiske generalstaben.