A tal grado llegó la ojeriza del virrey hacia el arzobispo, que sobre él llegó a decir en una carta al rey que «todos le tienen por incapaz para este arzobispado», por lo que aconsejaba que volviera a España.