La fortaleza original se levantó en el siglo XII en el extremo noroeste de lo que hoy en día es el Barrio de la Villa, en el tiempo que llegaron los almorávides a Al-Ándalus, los cuales ordenaron la construcción de esta fortaleza, conocida durante toda la Edad Media como "Lo castell de Capdet".