De regreso a Rusia, Rýkov trabajó como revolucionario profesional en diversas ciudades del Imperio ruso, se convirtió en el principal representante de la corriente bolchevique en el país e ingresó en el comité central del partido en 1905. Participó activamente en la Revolución Rusa de 1905 y encabezó el comité moscovita del partido tras el levantamiento de la ciudad en diciembre. Fue elegido miembro del Comité Central en el III Congreso del POSDR (boicoteado por los mencheviques) de Londres abril de 1905 y en el IV Congreso del POSDR (de unificación), celebrado en Copenhague en 1906. En el V Congreso pasó a ser miembro suplente del CC.