Cai kom fra en familie med slektsrøtter i Guangdong. Han måtte ut i arbeidslivet allerede som 12-åring. I 1927 ble han ansatt i et lite filmstudio i Shanghai. Senere ble han kjent med Zheng Zhengqiu og ble hans regiassistent fra 1929 til 1931 i filmselskapet Mingxing.