Los restos más antiguos hallados en el lugar son unos sillares de granito similares a los del acueducto romano, lo que hace suponer que en tiempos de la dominación romana de la ciudad ya hubo de haber un castro o fortificación.