Existieron otros factores que también jugaron en su contra: su oposición a la eliminación de las encomiendas, las críticas que le hicieron los virreyes Avilés y del Del Pino, y el mismo Azara.