Următoarele decenii au fost mai puțin furtunoase. Lida a fost devastată de tătarii din Crimeea în 1506 și a fost luată cu asalt de către ruși în timpul războiului ruso-polonez în 1659. Suedezii au ocupat cetatea de două ori în timpul Marelui Război Nordic și au aruncat în aer ambele turnuri. În 1794, pe acest loc a avut loc lupta dintre adepții lui Kościuszko și rușii.