De 17e eeuw was er een van veelvuldige tegenspoed. In het begin van die eeuw, tijdens de Tijd der Troebelen, werd de stad door de Polen verwoest, in 1654 brak de pest uit, en in 1676 brandde de stad bijna tot de grond af. Toch herpakte Kasjin zich daarna weer. Niet alleen de verfindustrie bloeide weer op, ook trok de stad iconenschilders, pottenbakkers en smeden. Ook werden er jaarmarkten gehouden. De stichting van Sint-Petersburg in 1703, en daaruit voortvloeiend, de ingebruikname van de vaarweg bij Vysjni Volotsjok droegen ook bij aan de ontwikkeling van Kasjin. De kooplieden breidden hun invloed uit tot aan de nieuwe hoofdstad. Ze haalden contracten binnen voor het leveren van wapens en proviand aan het leger. De groeiende welvaart van kooplieden en ambachtslui kwam ook tot uiting in het uiterlijk van de stad. Tegen het einde van de 18e eeuw waren er veel huizen en kerken van steen. In 1775 kreeg Kasjin de status van stad. In 1812, tijdens de oorlog tegen Napoleon voorzagen de kooplieden de landstorm van bewapening en voedsel. In de 19e eeuw kwam ook de vlasbouw op, die een andere pijler van de lokale economie werd. In de tweede helft van de 19e eeuw werd de stad verrijkt met een kathedraal, een openbare bibliotheek, een ziekenhuis en een streekmuseum. In 1890 werd een spoorlijn dwars door de stad aangelegd. In die tijd werd er ook een kuuroord gesticht. Aan het begin van de 20e eeuw kende Kasjin 33 kerken en 12 kloosters. Tijdens het Sovjet-bewind zijn de meeste hiervan gesloopt.