Etter å ha blitt satt fri hadde Rudzutak ulike verv i Sovjetunionens kommunistiske parti, statsadministrasjonen og fagforeningene. Fra 1924 til 1934 var han folkekommissær for transport (dvs transportminister) og i 1926 ble Rudzutak viseformann for rådet av folkekommissærer (det vil si visestatsminister), en stilling han hadde til 1937. Fra 1926 til 1932 var han også fullt medlem av det mektige Politbyrået.