Године 1925. Бабаџањан се пријавио у црвеноармејску Уједињену војну школу „Александер Мијашникин“, у Јеревану, у Јерменији. Школа је касније премештена у Тбилиси и преименована у Транскавскаску уједињену пешадијску школу. Дипломирао је 1929. године и добио је официрски чин. Обављао је разне војне функције широм Совјетског савеза, служећи као командант батаљона, а касније и као заменик команданта корпуса стационираног у Транскавкаској војној области. Своје војно школовање наставио је на војној академији Фрунзе, на којој је дипломирао 1937. године, што му је донело чин мајора. 1938. године постављен је на место заменика команданта пука у Лењинграду пре него што је, по избијању Руско-Финског рата, упућен на фронт.