Embora em 1647, o mosteiro fosse popular por causa da imagem milagrosa da Mãe de Deus, frequentemente visitada pelo rei João II Casimiro Vasa, o longo processo de marginalização da abadia continuou, frequentemente acometida por incêndios e inundações. Das cerca de 500 casas que existiam no século XVI, só restaram a metade após a invasão sueca e, no final do século XVIII, só existiam 40 casas. Quando Czerwińsk foi incorporada à Prússia Meridional em 1795, era habitada por menos de 300 pessoas, e não havia escola. Vários anos depois, na época do Ducado de Varsóvia, eram 150 habitantes. Em 1815 Czerwińsk foi incorporada à Polônia do Congresso. Em 1819, o mosteiro, que já estava em declínio, foi fechado. Em 1870, Czerwińsk perdeu formalmente seus direitos municipais e foi incorporada à comuna de Sielec..