OGPU
Desde comienzos de 1934, empezó a involucrarse en asuntos de seguridad: el , asistió a la reunión del politburó en la que se decidió la creación de la nueva Comisaría del Interior, el NKVD, que incluyese, entre otras organizaciones, al OGPU. Yezhov formó parte de los encargados de la reforma y participó, junto con el propio Stalin, en diversas comisiones instituidas para este fin. El nuevo órgano, a diferencia del OGPU, no tenía potestad para dictar sentencias de muerte o condenas de más de cinco años de prisión, mientras que los casos de traición pasaban a depender de los tribunales.