Ya como castillo sirvió de defensa contra nuevas invasiones del norte de África, y más tarde Sancho IV lo donaría, junto con la villa, al almirante genovés Benedetto Zaccaria, y posteriormente a Alonso Pérez de Guzmán El Bueno, quien a su vez lo dona a su hija Leonor de Guzmán en 1306 con motivo de su matrimonio con Luis de España, dando comienzo así a la Casa de los Medinaceli, señores de la villa en tiempos de Isabel de la Cerda y Guzmán.