Durante esa estancia, la reina Juana inició una relación con el sobrino del arzobispo, el caballero Pedro de Castilla y Fonseca, biznieto bastardo del rey Pedro I de Castilla, fruto de cuya relación nacieron dos hijos gemelos.