Den 17. desember 1999 rukket Yang inn som ordinarie biskop av bispedømmet Handan. Den 21. juni 2011 ordinerte han i kirken i Feixiang presten Joseph Sun Jigen til sin koadjutor-biskop, etter at både de kinesiske myndigheter og Vatikanet hadde godkjent fader Sun til embedet. Bispevielsen skjedde i det hemmelige, noen dager forut for den offisielt kunngjorte termin: Ved dette ville han forhindre at seremonien ville bli foretatt ev en illegitim biskop - en biskop som ikke hadde Pavestolens approbasjon. Til gjengjeldelse arresterte myndighetene to prester og den nye biskop Sun, men sløslot dem etter tre dager. Biskop Yang fikk i disse dagene hjerteinfarkt og måtte på sykehus.