En el siglo XIV la fortaleza pasó a manos del infante don Juan Manuel, quien aprovechando la construcción precedente, mandó reconstruir algunos de sus elementos y murallas.