教徒不断增多，潘国光在上海的天主教徒中建立了“耶稣苦难会”、“圣母会”、“天神会”、“圣依纳爵会”和“圣方济各·沙勿略会”五种善会。康熙二年（1663年），天主教传入青浦县。康熙三年（1664年）9月15日，安徽歙县人回教徒杨光先向礼部诬告汤若望，发动历狱。清廷谕令各地传教士集中北京，翌年包括潘国光在内的全国各地26名传教士全部解京，随后留下在清廷服务的传教士，其余包括潘国光在内的23名传教士遣发广州。许甘弟大送去生活费银300两。1664年，上海有天主教徒42,000人，松江有2,000人，嘉定有400