Cao wurde in eine arme Familie in Tianjin geboren. 1894, während des Ersten Chinesisch-Japanischen Krieges, wurde er für die Kämpfe in Choson von der Armee rekrutiert. Nach dem Krieg schloss er sich der Beiyang-Armee von Yuan Shikai an, der seinen Aufstieg protegierte. Zur Zeit der Xinhai-Revolution von 1911 war er zum Divisionskommandeur aufgestiegen.