Il Settecento segna l'inizio del declino del castello; nell'agosto del 1703, nell'ambito della guerra di successione al trono di Spagna, l'armata francese capitanata dal generale Luigi Giuseppe di Borbone-Vendôme penetrò nella zona del Basso Sarca, strinse d'assedio Arco, conquistò la città e bombardò il castello, la cui guarnigione si arrese. Iniziò così la rovina del castello che venne sfruttato come cava di pietra dagli abitanti del borgo sottostante per riparare le case danneggiate dai bombardamenti e costruirne di nuove.