Sin embargo, Isabel se encargó de airear la impotencia de Enrique IV, a la vez que acusaba a su esposa de infidelidad de acuerdo a los rumores difundidos por Juan Pacheco, Marqués de Villena (1419-1474) quien ya en 1462, al sustituir Beltrán de la Cueva todos los efectos al marqués de Villena como nuevo privado de Enrique IV, se encargó de propagar este rumor junto a su hermano, Pedro Girón y su tío, el arzobispo de Toledo Alfonso Carrillo, Juana sería hija de uno de los hombres de confianza del rey, Beltrán de la Cueva, por lo que comenzaron a apodarla "la Beltraneja".