Po kilkudziesięciu latach świetności, w drugiej połowie XIV wieku kościół i klasztor zostały spalone, natomiast w 1411 zajęte przez krzyżaków. Trudne czasy trwały aż do pokoju toruńskiego, po którym nastąpił okres stabilizacji i rozwoju. W 1523 biskup Mikołaj Mściwy konsekrował kościół oraz siedem nowych ołtarzy. W roku 1656 kościół i klasztor były niszczone przez Szwedów. Znaczącej przebudowy kościoła dokonano na przełomie XVII i XVIII wieku, za rządów opata Ignacego Gnińskiego. Nadano wtedy kościelnemu wnętrzu cechy barokowe. Zbarokizowano również trzy gotyckie szczyty świątyni, gotyckie okna, oraz dodano barokowe hełmy.