Todas estas invasiones acabarían reduciendo la ciudad a un conjunto de islotes fortificados, como el "Castrum Sancti Stephani" (en torno a la catedral de San Esteban) o el "Castrum Montis Revellis" (que posteriormente sería el castillo de Montrevel, emplazamiento del actual Ayuntamiento).