Aleksej Ivanovič Rykov nacque il 25 febbraio 1881 a Saratov, nella famiglia di un commerciante. Studiò giurisprudenza all'Università di Kazan', senza terminare gli studi. Nel 1898 si iscrisse al Partito Operaio Social-Democratico Russo, ed in occasione del II Congresso del 1903, dopo la divisione in Bolscevichi e Menscevichi, divenne sostenitore della fazione bolscevica. Operò quindi per i Bolscevichi a Mosca, San Pietroburgo, Saratov, Kazan', Jaroslavl', Nižnij Novgorod e partecipò alla Rivoluzione Russa del 1905. Venne eletto membro del Comitato Centrale del partito sia al III Congresso di Londra (boicottato dai Menscevichi), sia al IV Congresso, dell'Unificazione, a Copenaghen nel 1906. Fu anche eletto Membro Candidato (senza diritto di voto) al Comitato Centrale nel 1905.