Cheng stammer fra en litteratfamilie og studerte først ved Nanjinguniversitetet. Motivert av begeistring for fransk språk og kultur, flyttet han til Frankrike i 1948 og fikk fransk statsborgerskap i 1973. Hans karriere der har for det meste vært i universitetsmiljø, blant annet som språklærer ved i Paris. Han ble innvalgt til Det franske akademi, , i 2002 som den første av asiatisk opprinnelse.