Rao ble på 1920-tallet med i Andrha Jana Sangh, en kulturell og sosial organisasjon for staten Hyderabads telugutalende befolkning. På 1930-tallet ble hans engasjement mer politisk. Han gikk i 1933 med i Nizam's Subjects' League, også kalt Mulki League, en organisasjon som forente hydarabadiske hinduer og muslimer i opposisjon mot innflyttere fra andre deler av India. I 1938 ble Rao en av grunnleggerne av Hyderabad State Congress (HSC), der hovedsakelig hinduer var med. HSC ble forbudt av myndighetene. Rao ble flere ganger fengslet for sin opposisjon mot nizamens styre.