В 1926 году поступил в Тверскую кавалерийскую школу им. Коминтерна (по другим данным Объединённую военную школу имени ВЦИК), вступил в комсомол, по окончании школы в 1928 году служил в кавалерии. В 1930 году переведён в состав войск ОГПУ и направлен в Казахстан, командиром взвода, в 1931 году назначен помощником начальника штаба 13-го Алма-Атинского полка ОГПУ. В 1934 году участвовал в боевых действиях в непризнанной Восточно-Туркестанской Исламской республике, созданной в результате национально-освободительного движения уйгуров. Тогда советские войска были введены на территорию Синьцзяна на стороне Шэн Шицая по его договорённости с советским правительством. За участие в боях под Кульджой был награждён именным оружием.