Baghramjanin isä oli armenialainen rautatieläinen. Baghramjan työskenteli nuorena rautateillä ja opiskeli vuosina 1912–1915 teknisessä koulussa. Hän osallistui ensimmäiseen maailmansotaan Venäjän keisarillisessa armeijassa vuodesta 1915. Vallankumouksen jälkeen hän liittyi vuonna 1918 Venäjästä irtautuneen Armenian armeijaan, joka soti tuolloin turkkilaisia vastaan, ja hän osallistui Sardarapatin taisteluun. Neuvosto-Venäjän miehitettyä Armenian Baghramjan asettui tukemaan neuvostohallintoa ja liittyi puna-armeijaan joulukuussa 1920. Hänestä tuli eskadroonan ja vuonna 1923 ratsuväkirykmentin komentaja. Hän suoritti ratsuväkiopiston Leningradissa vuonna 1924, Frunzen sotilasakatemian vuosina 1931–1934 ja yleisesikunta-akatemian vuonna 1938. Hän sai 1935 everstin arvon.