Pese a su riqueza personal y a ser miembro destacado de la sociedad virreinal e integrante de la orden de Calatrava, se tienen antecedentes de que, en general, no fue mirado con buenos ojos por los diversos virreyes, que le atribuían dificultades de carácter.