I 1938 ble Rykov, sammen med blant andre Bukharin, henrettet i den tredje og siste Moskvaprosessen, anklaget for landsforræderi og konspirasjon. Han ble rehabilitert først i 1988.