В 1923 году переехал к старшему брату Анастасу в Ростов-на-Дону. Днём работал токарем на заводе «Красный Аксай», а по вечерам посещал занятия в школе ФЗУ. В 1924 году в дни ленинского призыва Микояна приняли кандидатом в члены РКП(б), а год спустя, в июне 1925 года, он стал полноправным членом партии. В ноябре он прибыл в Москву, где первое время жил в доме Екатерины Сергеевны Шаумян, вдовы , одного из 26 бакинских комиссаров. Первым делом Микоян устроился токарем на завод «Динамо», где проработал вплоть до 1928 года. Сначала снимал квартиру, позже перебрался жить к инженеру-конструктору Додеву. В декабре посетил XIV съезд ВКП(б). В 1928 году был рекомендован на должность секретаря парторга Октябрьского трамвайного парка. В декабре был призван в ряды РККА. Микоян был зачислен в пехоту, срочную службу проходил в войсковой части города Ливны Орловской области. В августе 1929 года был переведён в Иваново-Вознесенскую военную школу (впоследствии — первое советское танковое училище) в городе Орле.