Cuando el Sacro Imperio Romano conquistó el reino, la capital se trasladó a Palermo, deteriorándose el edificio a causa del abandono.