W 1724 roku zakon jezuitów zbudował w mieście klasztor oraz pierwszą szkołę. W 1753 roku zmarło 11 Żydów (po odarciu ze skóry) z 24 oskarżonych o porwanie i zabójstwo dziecka. Pozostali Żydzi uratowali życie ponieważ przeszli na katolicyzm. W 1761 roku zbudowano drewniany kościół bernardynów pw. św. Jana z Dukli oraz murowany klasztor dla zakonników. W drugiej połowie XVIII wieku klasztor jezuicki został przebudowany oraz powstał klasztor benedyktynów. W 1765 roku w mieście było 5 świątyń (3 katolickie, 2 prawosławne) i 285 domów. W 1766 biskup Józef Andrzej Załuski sprowadził do miasta siostry szarytki. Mieszkańcy Żytomierza wsparli konfederację barską. W zemście w 1769 Rosjanie najechali miasto i dokonali masakry mieszkańców.