Cao studerte i Sovjetunionen. Han var general i Folkets frigjøringshær, og var Kinas forsvarsminister og medlem av Statsrådet fra 2003 til 2008. Som Kinas forsvarsminister var han også selvskreven som statsråd i samme periode.