Ostatnie lata istnienia kolegium (1764-1773) były dla jezuitów szczególnie trudne: ówczesny właściciel Karol Stanisław Radziwiłł „Panie Kochanku” przebywał dwukrotnie na wygnaniu w latach 1764-1767 i 1769-1777, a w okresie konfederacji barskiej miasto znalazło się pod okupacją rosyjską. W atmosferze sejmu rozbiorowego ogłoszono jesienią 1773 roku brewe Klemensa XIV "Dominus ac redemptor" i powołano do życia Komisję Edukacji Narodowej.