El elemento más significativo de la fortificación es el castillo, que fue mandado construir por García Álvarez de Toledo y Carrillo de Toledo, duque de Alba, entre 1473 y 1478.