Se ha mantenido a lo largo del tiempo la tradición de que el primitivo "hisn" o fortaleza andalusí ocupaba el solar en el que luego se levantó el alcázar cristiano y más tarde el actual Palacio Real.