Deza ble selv utsatt for anklager om å hemmelig praktisere jødedom. Dette hadde som bakgrunn at han selv hadde jødiske forfedre på morssiden, men selve anklagen var sannsynligvis politisk motivert. Den svekket ham i noen grad. Det som svekket ham mer alvorlig var imidlertid flere åpne opprør mot inkvisisjonen.. Pave Julius II synes å ha klart å mane Deza til å skikke seg bedre.