С приходом Красной армии в июне 1920 года в город Новосибирск поступил на службу в 46-й стрелковый полк и был зачислен курсантом в полковую школу, после окончания которой в мае 1921 года направлен в 26-ю пехотную школу в город Красноярск. В декабре 1922 года выпущен из школы «красным командиром» и убыл в распоряжение командующего 5-й армии в город Чита, где был назначен помощником командира взвода в 6-й Хабаровский стрелковый полк 2-й Приамурской стрелковой дивизии. С июня 1923 года по март 1924 года прошел переподготовку на курсах комсостава при этом полку и продолжил службу командиром взвода, затем помощником командира роты. С сентября 1925 года по август 1926 года находился в командировке в Ленинграде на курсах физического образования. С февраля 1928 года служил командиром взвода полковой школы и командиром роты в 5-м Амурском стрелковом полку. Участвовал в вооруженном конфликте на КВЖД. В 1930 году вступил в ВКП(б). С июня 1932 года исполнял должность инструктора физической подготовки 2-й Приамурской стрелковой дивизии, а в январе 1934 года был переведен на ту же должность в 1-ю Тихоокеанскую стрелковую дивизию. С ноября 1937 года по август 1938 года — слушатель курсов «Выстрел». После выпуска был назначен помощником командира по строевой части 199-го стрелкового полка 39-й стрелковой дивизии 1-й Отдельной Краснознаменной армии. В декабре 1940 года Иванов вступил в командование этим полком.