Tiga tahun setelah penggulingan Pemerintahan Sementara Rusia oleh Bolshevik pada bulan Oktober 1917, Tentara Merah menyerbu republik-republik yang berada di selatan Kaukasus, yakni Azerbaijan, Georgia dan Armenia. Pada bulan Mei 1920, Bagramyan yang kesal dengan kondisi sosial politik Armenia, ikut serta dalam sebuah pemberontakan yang gagal terhadap pemerintah Armenia yang dipimpin oleh Dashnak. Ia dipenjarakan dan dikirim untuk bekerja di ladang selama beberapa bulan tetapi diizinkan untuk bergabung kembali dengan militer setelah pecahnya Perang Turki-Armenia. Tetapi pada bulan Desember 1920, Armenia mengalami sovietisasi dan tentara nasional Armenia kemudian dibubarkan. Akhirnya Bagramyan memilih untuk bergabung dengan Pasukan ke-11 Uni Soviet dan diangkat menjadi komandan resimen kavaleri.