Pierwsze wzmianki o budowie kościoła św. Józefa pochodzą z pierwszej połowy XVIII w. (po 1715 po wielkim pożarze miasta), w którym służbę dla przyjezdnych pełnili ojcowie bernardyni. Kościół ten jednak spłonął w czasie walki konfederatów barskich. Na jego miejscu w 1773 stanęła kapliczka ochraniająca wodę, ku czci św. Jana Niepomucena. W 1898 powstał Komitet Budowy kościoła, który rozpoczął zbiórkę pieniędzy od mieszkańców oraz pielgrzymów. W latach 1902–1906 trwała budowa obecnego kościoła, który w 1908 zostaje poświęcony.