En 1462 Juan II lo donó a su hijo natural Alonso de Aragón, duque de Villahermosa, cuyo retrato se conserva en una de las dependencias del castillo.