I 1976 sendte pave Paul VI ham og biskop Ignatius Kung Pin-mei av Shanghai gratulasjonsbrev i forbindelse med deres 25-års felles bispejubileer, noe paven pleier å gjøre ved slike jubileer. Biskop Kung mottok aldri sitt brev, men biskop Fan – som da var i arbeidsleir – fikk sitt senere, da han i 1979 ble løslatt fra fengsel etter kulturrevolusjonen. Lettelsene i hans kår hadde begynt ett år tidligere, da han under oppsyn var blitt sendt ut som gatefeier.