På grunn av voksende uoverensstemmelser og misnøye med pave Benedikt XIV og hans pavelige regjering i 1751 trakk seg som prefekt for Vatikanbiblioteket og fikk trekke seg tilbake til sin bispestol i Brescia. Konkrete foranledninger var pavens utnevnelse av kardinal Domenico Passionei som pro-prefekt for biblioteket, og pavens holdning i et politisk ærende overfor republikken Venezia.