I de påfølgende partikampene utgjorde Rykov sammen med Nikolaj Bukharin og Mikhail Tomskij den moderate fløyen som la vekt på alliansen med bøndene mot venstrefløyen som prioriterte hurtig industrialiering på bekostning av bøndene. Derfor allierte de seg først med Stalin, Kamenev og Zinovjev mot Trotskij, deretter med Stalin mot Kamenev og Sinovjev. Da imidlertid Stalin og flertallet begynte å innta venstreopposisjonens gamle standpunkter havnet de i opposisjon, den såkalte høyreopposisjonen. Rykov ble i 1930 avsatt som regjeringssjef og mistet plassen sin i politbyrået. Året etter fikk han vervet som leder for post- og telegrafdepartementet, et verv han hadde til 1936. I 1934 ble han degradert til observatør i sentralkomiteen og i 1937 ble han arrestert på et møte i sentralkomiteen og ekskludert fra partiet.