1927年被调回莫斯科工作。1927年，完成在伏龙芝军事学院的高级军官课程。1930年，担任阿塞拜疆国家政治保卫局主席。1934年，成为内务人民委员部副委员，参与苏联入侵新疆的军事行动。雅戈达失势后，他被任命为秘密警察的领导，为叶若夫的副手。此后，他与叶若夫的关系变得日益亲密，成为叶若夫的政治盟友。弗里诺夫斯基经常未经法官授权签发逮捕令。