内务部实际由贝利亚负责。11月，叶若夫给斯大林写了封很长的忏悔信，请求宽恕。半年后，叶若夫“招供”了自己的罪行：“德国间谍、托洛茨基阴谋集团成员，谋杀斯大林”。1940年2月4日，叶若夫在莫斯科的一处内务部据点的地下室被处决，死刑由原下属瓦西里·米哈伊洛维奇·布洛欣执行。当时6岁的养女娜塔莉亚活了下来。苏联解体后他的养女娜塔莉亚要求为叶若夫平反，但在1998年6月4日遭到驳回。
评价.叶若夫在秘密警察机构待的时间和影响和其后来者贝利亚相比并不算长，但在克格勃（当时为内务部）