Trasformato in residenza fortificata, fu smantellato nel 1553 dal commissario imperiale Gerolamo Sacco di Ceva su ordine del governatore di Milano Ferrante I Gonzaga, quest'ultima in lotta con la Francia e che condizionò la scelta distruttiva per la paura di una possibile e probabile caduta del castello ai francesi. Devastato e parzialmente inutilizzabile, il castello cadde in abbandono e la stessa famiglia carrettesca trasferì la sua sede presso l'odierno palazzo municipale di Millesimo. Ulteriori danni alla struttura furono arrecati nelle prime battaglie napoleoniche del 1796 tra gli eserciti francesi e austro-piemontesi.