破了许多乌克兰的反布尔什维克案件，逐渐获得提升。1921年，他成为乌克兰的契卡高官。1927年被调回莫斯科工作。1927年，完成在伏龙芝军事学院的高级军官课程。1930年，担任阿塞拜疆国家政治保卫局主席。1934年，成为内务人民委员部副委员，参与苏联入侵新疆的军事行动。雅戈达失势后，他被任命为秘密警察的领导，为叶若夫的副手。此后，他与叶若夫的关系变得日益亲密，成为叶若夫的政治盟友。弗里诺夫斯基经常未经法官授权签发逮捕令。1938年9月，斯大林为了削弱叶若夫的势力，将他调任海军人民委员。弗里诺夫斯基的