La città di Bellagio durante la Guerra dei dieci anni si schierò con Milano e ciò comportò numerosi attacchi alla città, i cui abitanti si rifugiavano nella fortezza del castello. In seguito all'alleanza con Federico Barbarossa, Como sconfisse Milano e ottenne quindi il controllo su Bellagio fino al 1292, quando Francesco Carcano espugnò la città e la riportò sotto il controllo di Milano. Nel 1295 il castello divenne possedimento ghibellino nelle mani della famiglia dei Visconti. Nel 1375, per editto di "Gian Galeazzo Visconti", venne ordinata la demolizione delle strutture difensive e il divieto di ricostruirne in seguito sulla cima del promontorio, in quanto diventate luogo di rifugio per malfattori. Furono però risparmiate la struttura della chiesa principale e una torre a pianta quadrata situata a sud dalla fortificazione principale. Nell'anno seguente, su ordine del suddetto Visconti la cinta muraria del castello divenne proprietà privata protetta da particolari privilegi per un suo cappellano, Antonio di Lucino, come ci dice esplicitamente l'ordine del 13 maggio 1377: