Ma il periodo di splendore del castello ben presto terminò. Nel 1512 il castello fu saccheggiato dagli svizzeri e dai Veneziani del cardinale di Sion. Dopo che Francesco I riconquistò il ducato di Milano nel 1515, Giovanni Battista Beccaria, figlio di Francesco, rimasto fedele alla dinastia sforzesca, dovette fuggire a Trento, dove si era rifugiato Francesco II Sforza, e fu quindi condannato alla pena capitale e i suoi beni furono sequestrati. Prima della battaglia di Pavia, il 4 febbraio 1525, il marchese di Pescara con 20.000 lanzichenecchi e cavalieri, scacciò i francesi dal castello e si avvicinò al parco Visconteo, dove, nelle settimane successive si svolse la battaglia. Mentre nel 1527 il castello fu nuovamente saccheggiato dai francesi e dai veneziani. Terminate le guerre d’Italia, il castello tornò in possesso dei Beccaria e, per vie matrimoniali, intorno al 1555, passò in parte al nobile parmense Manfredo Cornazzani (marito di Barbara Beccaria) e, dopo vari passaggi, al principio del XVII secolo il castello era diviso tra il conte Alfonso Beccaria, letterario e i marchesi Cornazzani. Nel 1747 i Beccaria cedettero i loro beni a sant’Alessio al marchese Giovanni Battista Botta Adorno, mentre ai Cornazzani subentrarono i conti Scaramuzza Visconti e poi altri proprietari. Tra Sette e Ottocento il castello cadde in decadenza, e fu a lungo utilizzato come azienda agricola. Durante la Seconda Guerra Mondiale fu occupato dai tedeschi, che lo utilizzarono come carcere e comando, fu, a partire del 1973, recuperato e restaurato dai nuovi proprietari e intorno al castello è sorta un’area naturale protetta: l’oasi di Sant’Alessio.