Som mange sovjetiske sikkerhetspolitimenn på 1930-tallet ble Jagoda selv et offer for Moskva-prosessene. Han ble avsatt fra direktørstillingen i NKVD og ble erstattet av Nikolaj Jezjov i 1936, og arrestert i 1937.