Cao begynte sin militære løpebane som vanlig soldat. Han ble sendt til krigsskolen og ble uteksaminert derfra i 1890. Han ble deretter lærer ved samme skole og i 1895 leder for en moderne soldatutdannelse. I 1901 ble han regimentskommandant og i 1902 brigadesjef, og fikk kort derpå generals rang. Cao var 1903–1905 militærkommandant i Mukden, derpå til 1911 i Jilin.