Fra 1924 til 1928 arbeidet Rjutin som sekretår for partiets bykretskomite for Moskva. Ved den 15. partidag 1927 ble han valgt til kandidatmedlem av sentralkomiteen. Fra 1928 var Rjutin i to år med i redaksjonen for avisen . I disse årene kom han mer og mer i opposisjon til Josef Stalins ledelse. I 1932 offentliggjorde han en rapport med tittel «Stalin og krisen i proletariatets diktatur». Kort etter ble han arrestert og dømt til ti års fengsel, men i 1937 ble han i en hemmelig rettssak dømt til døden og deretter skutt.