Urodził się w okręgu czytyjskim w obwodzie zabajkalskim w rodzinie żydowskiej, brat Borisa Bermana, również wyższego funkcjonariusza NKWD. W 1916 roku ukończył szkołę handlową w Czycie. Od lutego 1917 roku w wojsku. Członek komitetów żołnierskich w armii. W organach WCzK-OGPU-NKWD od 1918 roku. W okresie 1920–1930 na kierowniczych stanowiskach w regionalnych organach WCzK-GPU (tomskim, jenisejskim, semipałatyńskim, irkuckim). W latach 1923–1924 ludowy komisarz spraw wewnętrznych Buriacko-Mongolskiej ASSR, gdzie prześladował lamaizm, tłumił lokalne powstanie mongolskie, porywał z Mongolii i Chin antykomunistycznych "białych" Rosjan, zajmował się sabotażem i dywersją. W latach 1924-1928 na kierowniczych stanowiskach w OGPU w republikach Azji Środkowej, gdzie tłumił antykomunistyczne powstanie basmaczy.