Орграспредотделом Ежов заведовал до 1934 года, реализуя на практике кадровую политику Сталина. В 1933—1934 годах входит в Центральную комиссию ВКП(б) по «чистке» партии. На состоявшемся в январе-феврале 1934 года XVII съезде партии Ежов возглавил мандатную комиссию. В феврале 1934 года избран членом ЦК, Оргбюро ЦК и заместителем председателя Комиссии партийного контроля при ЦК ВКП(б). С февраля 1935 года — председатель КПК, секретарь ЦК ВКП(б).