Su política ilustrada y su carácter altivo le acarrearon poderosos enemigos, pertenecientes a la facción cortesana "jesuita" o "beata", dirigida por Manuel Godoy.