Han overtok i Shanghai etter biskop Ignatius Gong Pinmei, som den gang var i fengsel. I Romas og i de i Shanghai da dominerende romtro «undergrunnskatolikker» sine øyne ble Zhangs lederskap av bispedømmet Shanghai ikke ansett som legitimt – for dem var Gong fortsatt den rettmessige biskop. Biskop Gong hadde fått livstiddom i 1955, for angivelig å ha organisert og ledet kontrarevolusjonær virksomhet etter kommunismens seier i 1949. Han ble benådet og løslatt i juli 1985 og offisielt overlatt til biskop Zhang.