Se cree que bajo órdenes de Stalin, Yagoda asesinó a su superior Menzhinski y luego ordenó matar a Serguéi Kírov, quien fue asesinado en diciembre de 1934; este último asesinato fue uno de los detonantes de la Gran Purga.