Beim Erdbeben von Kalabrien 1783 wurde auch das Castello Ruffo di Scilla in Mitleidenschaft gezogen und in der Folge der Kerker geschlossen. Nach dem Ende der parthenopäischen Republik 1799 wurde die Anlage von napoleonischen Truppen besetzt. Zu Beginn des 19. Jahrhunderts wechselten sich während der Koalitionskriege Franzosen und Engländer mehrmals als Besitzer ab. Nach der vorübergehenden französischen Inbesitznahme 1806 unter General Louis de Partouneaux, konnten sich die Franzosen im Februar 1808 erneut in den Besitz der Festung bringen. Nachdem der Bau bei den vorherigen Belagerungen durch Artilleriebeschuss erhebliche Schäden davontrug, fanden zwischen 1811 und 1813 Umbauarbeiten statt, die das heutige Bild der Festung prägen. Insbesondere nach einem Blitzeinschlag in das Pulverlager 1812, bei der der Bau schwer beschädigt wurde und bei dem zwei Offiziere den Tod fanden, wurde die ursprüngliche Struktur der Anlage wesentlich verändert. Nach Ende der napoleonischen Epoche war von dem Vorgängerbau wenig übrig geblieben.