Løslatelsen av biskop Zeng skjedde i begynnelsen av mai 1998, men han ble straks ilagt husarrest i byprefekturet Fuzhou (i Jiangxi) i stedet. Han ble nektet besøk fra andre enn nære slektninger.