Ivan Bagramyan
Tahun-tahun antar perang

Tiga tahun setelah penggulingan Pemerintahan Sementara Rusia oleh Bolshevik pada bulan Oktober 1917, Tentara Merah menyerbu republik-republik yang berada di selatan Kaukasus, yakni Azerbaijan, Georgia dan Armenia. Pada bulan Mei 1920, Bagramyan yang kesal dengan kondisi sosial politik Armenia, ikut serta dalam sebuah pemberontakan yang gagal terhadap pemerintah Armenia yang dipimpin oleh Dashnak. Ia dipenjarakan dan dikirim untuk bekerja di ladang selama beberapa bulan tetapi diizinkan untuk bergabung kembali dengan militer setelah pecahnya Perang Turki-Armenia. Tetapi pada bulan Desember 1920, Armenia mengalami sovietisasi dan tentara nasional Armenia kemudian dibubarkan. Akhirnya Bagramyan memilih untuk bergabung dengan Pasukan ke-11 Uni Soviet dan diangkat menjadi komandan resimen kavaleri.
Karena kehidupan di Armenia tumbuh relatif lebih stabil di bawah kekuasaan Soviet, Bagramyan berusaha mencari seorang wanita yang ditemuinya beberapa tahun sebelumnya, Tamara Hamayakovna. Tamara yang tinggal di Nakhichevan bersama keluarganya, sebelumnya pernah menikah dengan seorang perwira Armenia, namun kemudian gugur dalam perang Turki-Armenia, meninggalkan dirinya dan putra mereka yang berumur satu tahun, Movses. Bagramyan mengunjungi Tamara dan keduanya memutuskan untuk menikah pada akhir tahun 1922. Selain Movses, yang kemudian menjadi pelukis, mereka memiliki seorang putri bernama Margarit, yang kemudian menjadi dokter. Tamara tetap bersama Bagramyan sampai ia meninggal dunia pada tahun 1973.
Pada tahun 1923, Bagramyan diangkat menjadi komandan Resimen Kavaleri Aleksandropol, posisi yang dipegangnya hingga tahun 1931. Dua tahun kemudian, Bagramyan lulus dari Sekolah Kavaleri Leningrad dan pada tahun 1934 lulus dari Akademi Militer Frunze. Dalam memoarnya Pyotr Grigorenko, seorang komandan Ukraina yang pernah belajar di Akademi Militer Frunze, ingat bagaimana Bagramyan diusir dari akademi oleh atasannya setelah mereka mengetahui bahwa ia pernah menjadi anggota rahasia partai nasionalis Dashnak Armenia yang terlarang selama lebih dari satu dekade. Sambil menunggu penangkapannya, Grigorenko menggambarkan Bagramyan sebagai orang yang "sangat tertekan, ia hanya berharap mereka untuk segera menangkapnya sehingga ia bisa menyelesaikannya." Grigorenko menyarankan agar Bagramyan mengajukan banding atas perintah penangkapan, tetapi Bagramyan enggan melakukannya dan dengan bantuan anggota politbiro Armenia Anastas Mikoyan, surat perintah penangkapan terhadap Bagramyan dicabut dan ia diterima untuk "direhabilitasi." Dari tahun 1934 hingga 1936, ia menjabat sebagai kepala staf Divisi Kavaleri ke-5, dan dari tahun 1938, ia bekerja sebagai seorang instruktur senior dan dosen di Akademi Militer Staf Umum Soviet. Bersamaan dengan itu, pemimpin Soviet Joseph Stalin telah banyak membersihkan korps perwira Soviet dari para komandan veterannya. Ketika rekan-rekan Bagramyan di akademi militer, seperti Andrei Yeremenko dan Georgy Zhukov, telah meningkat kariernya, Bagramyan tetap stagnan.
Pada tahun 1940, ketika Jenderal Zhukov dipromosikan menjadi komandan Distrik Militer Kiev di RSS Ukraina, Bagramyan menulis surat yang meminta untuk berada di bawah komandonya. Zhukov setuju, dan pada bulan Desember meminta bantuannya untuk menulis sebuah makalah agar dapat dipresentasikan kepada para komandan Distrik Militer Soviet. Makalah Bagramyan, Melakukan Operasi Serangan Kontemporer, tampaknya membuat Zhukov terkesan, karena ia akhirnya mempromosikan Bagramyan untuk menjadi kepala Operasi Pasukan ke-12 Soviet yang berbasis di Ukraina. Namun dalam waktu tiga bulan, Bagramyan yang saat itu berpangkat kolonel, ditunjuk sebagai wakil kepala staf Front Barat Daya, yang bermarkas besar di Kiev.