Debido a esta especial privanza con el rey, y a los rumores de impotencia que pesaban sobre la figura del monarca, fue acusado de ser el padre de la princesa Juana, apodada vulgarmente por sus enemigos "la Beltraneja".