Useimmista kiinalaisista kommunistijohtajista poiketen Kang Sheng oli lähtöisin maanomistajaperheestä. Hän kävi länsimaista koulua Shanghaissa, liittyi kommunistiseen puolueeseen vuonna 1925 ja johti useita järjestäytyneiden työläisten kansannousuja Shanghaissa. Hän pelastautui vuoden 1927 Shanghain verilöylystä, jossa Kuomintangin joukot hyökkäsivät kommunistien kimppuun. Myöhemmin hänestä tuli KKP:n tiedusteluosaston johtaja. Vuosina 1933–1940 Kang asui pääasiassa Neuvostoliitossa ja työskenteli Kominternin tehtävissä. Hänet valittiin KKP:n keskuskomiteaan ja politbyroohon ensimmäisen kerran vuonna 1934. Hän otti käyttöön nimen "Kang Sheng" asuessaan Neuvostoliitossa vuonna 1935. Oleskellessaan vuonna 1937 tilapäisesti puolueen päämajakaupungissa Yan’anissa hän johti puolueen sisäisiä turvallisuusoperaatioita. Toisen maailmansodan aikana hänestä tuli KKP:n keskuskomitean alaisen turvallisuuselimen, ”sosiaalisten asiain osaston” johtaja vuoteen 1946 asti. Hän johti vuonna 1942 ”oikaisukampanjaksi” kutsuttua poliittista puhdistusta puolueessa.