Den normanniske erobring av Campania, tvang hertugen av Amalfi til å modernisere bygget for å kunne yte større motstand mot fienden. Interiøret av festningen ble utvidet med nye anlegg, inklusive et kapell med forsterket kjeller . Andre tillegg fra det 12. århundre omfattet et rundt tårn, to ekstra murer og som følge av utviklingen i angrepsteknikk og våpen. I det fjortende århundre ble Capri angrepet av muslimske pirater. Følgelig brukte befolkningen festningen som tilfluktssted. Men etter angrepet i 1535 ledet av den osmanske piraten Hayreddin Barbarossa og Dragut, ble festningen ødelagt i 1544 og de som hadde søkt tilflukt ble tatt til fange eller robbet. Heller enn å bli oppkalt etter den som bygde festningen fikk den navn etter den som ødela den. Angevinerne forsøkte å rekonstruere festningen uten hell da napolitanerne hadde lite erfaring i byggeteknikk. Det ble derfor til at Anacapris innbyggere, som heller ikke var erfarne byggmestere måtte ta vare på festningen som førte til at den aldri ble bygget opp igjen.