I decenni successivi furono meno tempestosi. Lida fu devastata dai tatari di Crimea nel 1506 e fu presa d'assalto dai russi durante la guerra russo-polacca nel 1659. Gli svedesi, conquistando il castello due volte durante la grande guerra del nord, ne fecero saltare in aria entrambe le torri. Nel 1794 il parco del castello fu teatro di una battaglia tra i seguaci di Kościuszko e i russi.