En el castillo se han encontrado asentamientos del Neolítico, la Edad de Bronce, ibéricos, romanos (que la llamaron "Castra Alta", "fortaleza alta") y árabes; históricamente, el castillo ha constituido el núcleo principal en torno al cual se iban aglutinando las viviendas de la ciudad amullarada.