De regreso a Rusia, Rýkov trabajó como revolucionario profesional en diversas ciudades del Imperio ruso, se convirtió en el principal representante de la corriente bolchevique en el país e ingresó en el comité central del partido en 1905.