Joseph Fan Zhongliang ble døpt da han var 14 år gammel. Han trådte inn i jesuittordenen i 1938 og ble presteviet i 1951. Han ble arrestert sammen med daværende biskop Ignatius Kung Pin-Mei av Shanghai og andre prester i 1955. Han ble anklaget for kontrarevolusjonær virksomhet og dømt til 20 års fengsel i 1958 og sendt til arbeidsleir i provinsen Qinghai i det nordvestre Kina.