En el siglo XIV la fortaleza pasó a manos del infante don Juan Manuel, quien aprovechando la construcción almohade, mandó reconstruir algunos de sus elementos y murallas, diferenciándose la mampostería cristiana del siglo XIV del tapial árabe del siglo XII.