В 1927—1934 годах — член Центральной контрольной комиссии ВКП(б), с 1930 года — член Президиума ЦКК ВКП(б) и член ВЦИК. Деятельность Трилиссера в разведке была пресечена начавшейся борьбой с троцкизмом: после серии провалов и появления невозвращенцев в закордонных резидентурах в декабре 1930 года Сталин вызвал Трилиссера к себе и поручил ему «усилить работу органов нашей рабоче-крестьянской партии». Трилиссер возражать не стал и перешёл на должность заместителя наркома Рабоче-крестьянской инспекции, которую занимал с 1930 по 1934 год. На XVII съезде ВКП(б) в 1934 году избран членом Комиссии советского контроля при СНК СССР, уполномоченным по Дальневосточному краю. В 1935−1938 годах — член президиума и кандидат в члены секретариата Исполкома Коминтерна, где он работал под именем Михаил Александрович Москвин. В ИККИ курировал работу спецорганов, входил в комиссию секретариата ИККИ по переводу в ВКП(б) членов зарубежных компартий.