Francesco de Avalos was veel uithuizig, aangezien hij vocht als condottiero tegen de Fransen tijdens de Italiaanse oorlogen. Vittoria bracht de tijd in Ischia door in het gezelschap van humanistische geleerden en kunstenaars. Ze zag er onder meer Michelangelo, Ludovico Ariosto en Pietro Aretino. Toen haar man stierf in 1525, na de overwinning bij Pavia tegen de Fransen, zat Vittoria in de put. Ze wilde zelfmoord plegen doch trok in een Romeins klooster. Haar broer Ascanio Colonna en haar neef kardinaal Pompeo Colonna roofden het pauselijk paleis in Rome kort nadien (1526). Een woeste paus Clemens VII liet landhuizen van de familie Colonna op zijn beurt plunderen. De zaak escaleerde volledig met de zware plundering van Rome (1527) door de Rooms-Duitse troepen van keizer Karel V. Vittoria hielp de getroffen Romeinse burgers waar ze kon. Volgens sommigen was weduwe Vittoria een 'vogel zonder nest geworden'. In de verdere jaren woonde Vittoria afwisselend in Ischia, Napels en Rome. De laatste jaren van haar leven spendeerde zij meer tijd in kloosters dan in kastelen. Zij deed regelmatig vastenperiodes.