De europeiske astronomiske beregningene viste seg å være mer korrekte enn de tradisjonelle kinesiske. Dette skuffet de muslimske medlemmer i astronomistyret, som begynte å planlegge hvordan de kunne få Schall fjernet. I 1657 anklaget én av dem, Wu Mingxuan (吳明炫 ), Schall for å ha foretatt mange gale astronomiske forutsigelser, men ettersom anklagene var feilaktige, havnet han selv i fengsel. Etter løslatelsen begynte han å samarbeide med Yang i sine angrep på misjonærene, og gav Yang en noe overflatisk innsikt i astronomi. I de følgende år kom Yang stadig med anklager både mot den kristne religion og mot pater Schalls vitenskapelige arbeid, men ble gjennomgående ignorert. Schall nøt fremdeles hoffets gunst, og på sin 71-årsdag (29. april 1661) ble han presentert med gratulasjonsessays fra flere fremstående embedsmenn, blant dem Jin Zhijun, Wei Yijie og Gong Dingzi. Senere samme år, da Schalls adoptivsønn (湯士弘, opprinnelig etternavn (潘)) ble gitt privilegier som student ved det keiserlige akademi, fikk han flere hilsener og enda to essays, det ene av Wang Chongjian (王崇簡) og et annet av storsekretær Hu Shi'an (胡世安, 字處靜, 號菊潭, 1593-1663).