Trudne czasy dla klasztoru nastały z nadejściem potopu szwedzkiego oraz wojny północnej. Na początku XVIII w. klasztor toczył też spór z biskupem włocławskim o jurysdykcję nad klasztorem, zakończony korzystną dla klasztoru decyzją audytora papieskiego. W wyniku pierwszego rozbioru Polski klasztor znalazł się pod zaborem pruskim, a w 1819 liczący 14 zakonników konwent został skasowany przez władze pruskie. Kościół cysterski zamieniono na parafialny, użytkowany wspólnie przez katolików i ewangelików. Zabudowania klasztorne po 1819 roku zostały przeznaczone na więzienie , a młyny nad Brdą dostały się w prywatne ręce.