II. Rákóczi Ferenc nevéhez fűződik a trinitárius szerzetesek letelepítése. A szabadságharc bukása után valósult meg a Fejedelem terve, amikor is 1727-ben a szerzetesek hozzáláthattak rendházuk felépítéséhez. Az építkezés 1734-ben fejeződött be. 1783-ban II. József a trinitáriusok rendjét is feloszlatta. A kolostor berendezése részben a vártemplomba, részben Károlyfalvára került. Az épület a későbbiekben a pataki uradalom jószágkormányzóinak adott helyet. A megközelítően „U” alaprajzú épület déli szárnyában volt a templom, az ehhez a délkeleti sarkon csatlakozó bástyaszerű tömbben kápolna, e fölött pedig oratórium helyezkedett el. A templomhoz északról kapcsolódó nagy "L" alaprajzú, egyemeletes kolostorépületben a földszinten ebédlő, konyha és éléskamra kapott helyet. Az emeleten az udvar felőli oldalfolyosóról nyíló cellasor volt.