Mikojann ble født i Armenia. Han kom fra enkle kår og ble tidlig revolusjonær. Han ble medlem av kommunistpartiet i 1915. Etter februarrevolusjonen 1917 var han en av organisatorene av de soldatdeputertes sovjet i Etsjmiadzin i Armenia), og arbeidet deretter for Partiet i Baku og Tbilisi. I oktober 1917 var han med på den første kongress for de bolsjevistiske organisasjoner i Kaukasus. Fra oktober 1917 var han i presidiet for bolsjevistkomiteen i Baku, og redigerte den bolsjevistiske avisen (senere kalt ).