Su confesor, el jesuita Antonio Núñez de Miranda, le reprochaba que se ocupara tanto de temas mundanos, lo que junto con el frecuente contacto con las más altas personalidades de la época debido a su gran fama intelectual, desencadenó las iras de este.