1 сентября 1930 года Фриновский назначен на должность председателя ГПУ Азербайджанской ССР. Был одним из организаторов раскулачивания в Азербайджане. 8 апреля 1933 года назначен начальником Главного управления пограничной охраны и войск ОГПУ СССР, руководил операцией по подавлению восстания в Синьцзяне.