Yu Chengxin kom fra en katolsk familie. Hans brødre Bartholomew Yu Chengti og Louis Yu Runchen, skulle også bli prester og biskoper, og søsteren Rong Jie ble nonne. Han begynte på presteseminar i Hanzhong seminary i 1950 og etterpå på regionalseminaret i Kaifeng (Henan) i 1956, men ble tvunget til å avbryte sine studier da dette seminaret etter to år ble tvangsstengt.