En marzo de 1938, Rýkov, junto a Bujarin, Génrij Yagoda, Nikolái Krestinski y Christian Rakovski, fue juzgado en el Tercer Juicio de Moscú acusado de haber conspirado con Trotsky contra Stalin, encontrado culpable de traición y ejecutado el 12 del mes.