Cao nasceu em uma família pobre em Tianjin. Durante a Primeira Guerra Sino-Japonesa, em 1894, foi com o exército para combater em Choson. Depois que a guerra acabou, ele se juntou a Yuan Shikai para participar na formação do Novo Exército (conhecido como Exército de Beiyang). Admirado por Yuan, Cao conseguiu ascender muito rapidamente.