Han sluttet seg til det russiske sosialdemokratiske arbeiderparti i 1898, og fulgte ved splittelsen i 1903 under den andre partikongressen mellom bolsjevikene og mensjevikene førstnevnte. Rykov fungerte deretter som agent for bolsjevikene i Moskva og St. Petersburg.