Цао родился в бедной семье в Тяньцзине. Во время войны с Японией в 1894 году он поступил в армию и отправился воевать в Корею. После окончания боев примкнул к Юань Шикаю, чтобы пройти подготовку в Новой армии (также известной как Бэйянская армия). Став любимцем Юань Шикая, Цао быстро продвигался по службе.