Pero se dice que no hizo caso a tales quejas pues ya tenía tratos de casamiento con Juana de Castro, mujer viuda de noble prosapia, a pesar de que vivían tanto su esposa Blanca, como su amante María.