Rakovskij tilhørte opposisjonen mot Josef Stalin og ble i 1927 ekskludert fra Sovjetunionens kommunistiske parti og forvist til Astrakhan. Han var i indre eksil i seks år. Han var en av de siste ledende trotskister som brøt med denne retning og vendte tilbake til Stalin. Han fikk lov til å reise tilbake til Moskva.