El desalojo de los musulmanes de la comarca de La Hoya, hace que el castillo pierda su carácter militar, perdiendo relevancia e influencia.