Den 4. oktober 1995 ble han og en prest arrestert for å ha holdt religiøse samlinger i sitt hjem. Biskopen var da 76 år og hadde alvorlige helseproblemer. Han ble holdt arrestert i fylket Chongren, sammen med mistenkte forbrytere. Han ble nektet besøk fra slektninger, likeså nødvendig medisinsk assistanse. Han ble så i mars 1996 dømt til tre års reform gjennom arbeid (). I stedet for arbeidsleir ble han imidlertid beholdt i Chongren. En av dem som stod bak aksjonen mot biskop Zeng, den høytrangerende politikeren Hu Changqing, ble fire år etter dømt til døden for korrupsjon.