Poco después, Vidal, preso del rey Pedro I (el Cruel, según unos, el Justiciero, según otros), para recuperar su libertad enajenó el Lugar por 25.000 maravedíes a favor de Sancha de Lorca, viuda de Martín Morata, y de Lázaro Gilabert, y una vez recuperada su propiedad, Jaume Vidal lo vendió a Berenguer Togores, quien, a su vez, lo vendió mediado el siglo XIV a Juan Ruiz Dávalos, el cual hizo la primera restauración documentada del castillo, cuyo aspecto conservó hasta principios del siglo XX y del que existe documentación fotográfica.