Era también ampliamente conocido por sus constantes actos de infidelidad conyugal (había dejado a su mujer en España), lo que obligó a que en la Corte se emitiera la Real Cédula del 27 de febrero de 1563, que por primera vez conminaba a un virrey a vivir con «más recatamiento».