Bij het uitbreken van de Februarirevolutie van 1917 bevond hij zich te Narym. Na de Oktoberrevolutie (1917) werd hij opgenomen in Lenins regering en werd hij volkscommissaris (minister) van Binnenlandse Zaken. Samen met Lev Kamenev en Viktor Nogin drong hij aan op een coalitie met andere socialistische partijen. Toen deze coalitie uitbleef trad hij af. Spoedig, nadat hij zijn 'fout' had erkend, werd hij wederopgenomen in de regering als volkscommissaris van Binnenlandse Zaken. Tijdens de Russische Burgeroorlog was hij vicevoorzitter van de Opperste Economische Raad en van de Raad van Arbeid en Defensie. Na de Burgeroorlog werd Rykov vicevoorzitter van de Raad van Volkscommissarissen en na de dood van Lenin in 1924, voorzitter (minister-president). Hij werd tevens voorzitter van de Raad van Volkscommissarissen van de Russische Socialistische Federatieve Sovjetrepubliek - RSFSR- (tot 1929). In 1920 werd hij in het Centraal Comité van de Russische Communistische Partij gekozen en in 1922 werd hij lid van het Politbureau.