Erigido sobre una antigua Alcazaba musulmana es, según algunos estudiosos, de probable vinculación templaria aunque lo más plausible es que fuera construida por Caballeros de la Orden de Santiago.