El castillo, así como el condado, fueron posesión de la familia Ayala, agraciada con el condado de Fuensalida en 1470 por el rey Enrique IV de Castilla, pasando a la Casa de Velasco en el siglo , en la persona de Bernardino Fernández de Velasco y Pacheco Téllez-Girón, VIII conde de Fuensalida.