Su oposición a los privilegios de la alta nobleza (de la que entra a formar parte como medio de desactivarla desde dentro) le acaba costando el odio de una parte de este importante estamento, la más cercana a Fernando VII con Escoiquiz y Caballero a la cabeza, que —como pudo comprobarse durante el reinado fernandino— constituía la facción más reaccionaria de la España de esos años.