Renunció a sus diversiones preferidas y fue tal la austeridad de su comportamiento personal que disgustaba a su mismo tío, que llegó a prohibir a los jesuitas Ribera y Laínez pisar en adelante el palacio del cardenal.