Sin embargo, cuando la autonomía del ducado amalfitano declinó, la imponente fortificación de Scala no pudo evitar una serie de desastres: el saqueo e incendio por parte del normando Roberto il Guiscardo en 1103; la feroz destrucción infligida por los Pisanos unos sesenta años después; la irrupción de los ejércitos de Otón de Brunswick en 1210.