La comunidad local caraíta, la columna vertebral de la economía de la ciudad, sufrió mucho durante la Rebelión de Jmelnytsky (ataques rusos hacia la mancomunidad), las matanzas de 1648 y las guerras entre Rusia y Polonia entre 1654 y 1667, cuando la ciudad fue saqueada y quemada. En el efecto de la guerra con Moscú en 1655, ambos castillos fueron demolidos y la prosperidad de la ciudad finalmente se derrumbó. Las ruinas del castillo siguen siendo un hito histórico. En 1680 solo treinta familias caraítas se quedaron en la ciudad. Sus tradiciones, incluida la no aceptación de personas que habían cambiado su identidad religiosa, impidieron a la comunidad la recuperación de su fuerza. La ciudad quedó en ruinas de nuevo a principios del siglo XVIII, probablemente en 1702, por las guerras de Carlos XII de Suecia, y por las consiguientes hambruna y peste, y solo 3 familias caraítas se quedaron. En 1765 solo 300 caraítas vivían en Trakai.