Durante el transcurso de la guerra fue objeto de durísimas críticas por parte de sus adversarios quienes llegaron a acusarle de homosexual, «lo que fue siempre más denostado en España que por alguna que hombre sepa», y de tener embrujado al rey Juan II: «el dicho condestable tiene ligadas e atadas todas vuestras potencias corporales e animales por mágicas e deavolicas encantaciones».