Ważną cezurę w dziejach kolegium nieświeskiego stanowi wojna polsko-rosyjska z lat 1654-1667. Kolegium i kościół ocalały podczas najazdu Rosjan i kozaków w 1655 roku, zostały natomiast zniszczone pięć lat później w wyniku pożaru miasta wszczętego przez wojsko moskiewskie po nieudanej próbie zdobycia zamku. W drugiej połowie XVII stulecia nastąpiła odbudowa placówki, która dokonywała się dzięki wsparciu podkanclerzego litewskiego Michała Kazimierza Radziwiłła i jego małżonki Katarzyny z Sobieskich Radziwiłłowej. W okresie wielkiej wojny północnej kolegium poniosło szkody podczas walk między Szwedami a oddziałem kozackim Karola Stanisława Radziwiłła w marcu 1706 roku. W kolejnych latach uchroniło się przed doszczętnym zniszczeniem, wypłacając kontrybucje na rzecz Szwedów i Rosjan.