Etter grunnleggelsen av Folkerepublikken Kina ledet han Østkina-fortvaltningen, som hadde som oppgave å bygge opp kommunistpartiets herredømme over Østkina. Tidlig i 1950-årene ble han leder for kommunistpartiets organisasjonsavdeling, og der allierte han seg med Gao Gang og forsøkte å komme til mer makt på bekostning av regjeringskretsen rundt Liu Shaoqi. Den etterlengtede støtte fra Mao Zedong uteble; i mars 1955 ble Rao og Gao fratatt sine maktposisjoner og ekskludert fra kommunistpartiet.