Cao aloitti sotilasuransa rivimiehenä ja pääsi 35-vuotiaana sotakouluun, josta valmistui vuonna 1890. Hän sai vuonna 1895 tehtäväkseen perustaa uuden sotakoulun. Hänet nimitettiin 1901 rykmentin- ja seuraavana vuonna prikaatinkomentajaksi. Vuonna 1911 Cao lähetettiin taistelemaan vallankumousta vastaan ja hänet nimitettiin ylipäälliköksi Jangtsen yläjuoksun alueella. Vuonna 1915 presidentti Yuan Shikai lähetti hänet kukistamaan Cai En kapinaa. Seuraavana vuonna Cao nimitettiin Zhilin maakunnan sotilaskuvernööriksi ja vuosina 1917–1919 hän johti hallituksen joukkoja sotaretkellä Sun Yat-senin johtamaa Etelä-Kiinan kilpailevaa hallitusta vastaan. Vuoden 1920 vallankaappuksessa hän asettui tukemaan kenraali Wu Peifua. Cao pääsi presidentiksi lokakuussa 1923 laajamittaisella äänten ostamisella. Vuotta myöhemmin kenraali Feng Yuxiang pakotti hänet luopumaan vallasta. Hänen seuraajakseen tuli marraskuussa 1924 Duan Qirui.