Cao började sin militära bana som vanlig soldat, sändes vid 35 års ålder till krigsskolan, utexaminerades därifrån 1890, blev därpå lärare vid samma skola och 1895 föreståndare för en modern soldatutbildningsskolan. 1901 blev han regementsbefälhavare och 1902 brigadchef samt fick kort därpå generals rang. Cao var 1903-1905 militärbefälhavare i Mukden, därpå till 1911 i Jilin, bekämpade revolutionen 1911 och blev samma år militärbefälhavare vid övre Yangtze-floden.