Pierwsze wzmianki historyczne o kościele pojawiają się w 1277. Został zniszczony w 1331 (podobnie jak klasztor franciszkanów) przez wojska zakonu krzyżackiego. Istniejące do dziś już murowane budynki kościoła i klasztoru powstały około 1339 z inicjatywy króla Kazimierza III Wielkiego. Kolejne zniszczenie pożarem nastąpiło w 1589, a jego odbudowa miała miejsce w 1596 dzięki okolicznej szlachcie. Po wojnie szwedzkiej przeprowadzono w 1690 barokową przebudowę klasztoru, nadając mu obecną czworoboczną formę z wewnętrznym wirydarzem. Wieże wzniesiono w czasie kolejnej przebudowy – w latach 1735-1756. Gruntowne remonty przeprowadzono po zniszczeniach wojennych w 1768 oraz w latach 1852-1854. W wyniku represji popowstaniowych w 1864 dokonano kasaty zakonu, a klasztor oddano księżom diecezjalnym. Prawdopodobnie w XVII wieku powstała po północnej stronie nawy, wtopiona w skrzydło klasztoru, kaplica Matki Boskiej Pocieszenia. W II połowie XVIII wieku wzniesiono wieżę i przebudowano fasadę świątyni, odcięto od kościoła ostatnie przęsło prezbiterium, tworząc w nim zakrystię, oraz przesklepiono nawę i prezbiterium. W 1864 władze rosyjskie dokonały kasaty klasztoru. Około 1910 przeprowadzono renowację wnętrza kościoła według projektu Aleksandra Przewalskiego.