Construido posiblemente sobre un oppidum íbero-romano, la mayor parte de su estructura defensiva fue construida en época de Al-Ándalus, con remodelaciones posteriores, principalmente del alcázar, para servir de residencia señorial o palaciega en los siglos XV y XVI, datación de su actual configuración.