Jezjov ble skjøvet ut av sin nestkommanderende, Lavrenti Berija og avsatt i 1938. Jezjov var da alkoholisert. Han ble arrestert i 1939 og henrettet 2. februar 1940, bøddel var Vasilij Blokhin.