El 1815 Milà junt amb el Regne Llombardovènet van ser annexionats a l'Imperi d'Àustria sota el domini dels austríacs i sota el comandament del general Heinrich Johann Bellegarde. El castell enriquit amb patis, passatges, masmorres i fossats es va fer tristament cèlebre durant la revolta dels milanesos de 1848, coneguda com a "Cinque giornate di Milano" (Cinc dies de Milà), el general Joseph Radetzky va donar ordre de bombardejar la ciutat amb els seus propis canons. Durant els tràgics esdeveniments de les guerres per la unificació italiana, els austríacs es van retirar per un temps i els milanesos van aprofitar l'oportunitat per desmantellar part de les defenses del castell. Quan l'any 1859 Milà estava a les mans de la Casa de Saboia i el 1861 forma part del Regne d'Itàlia la població va envair el castell, robant i saquejant en senyal de venjança.