Упадок начинается со «Шведского потопа». В 1655 году шведы заняли город без боя, и так же, без боя, покинули его осенью 1656 года. Но за период 1656—59 годов город отразил 5 шведских нападений, нанесших значительный ущерб окрестностям. Помимо того, в 1657 году Тухолю опустошила чума, а в 1685 году разрушение довершил крупный пожар. Лишь к середине XVIII века Тухоля восстановилась.