W 1600, w trakcie wojny polsko-szwedzkiej, miasto dostało się w ręce Szwedów pod wodzą Karola Sudermańskiego. Kolegium zostało zajęte i złupione, a jezuici uwięzieni. Kolegium otwarto ponownie po odbiciu miasta przez Karola Chodkiewicza w 1603, jednak aż do 1619 nie powróciło do swej pełnej działalności. Miasto zostało ponownie zdobyte w 1625, w kolejnej wojnie polsko–szwedzkiej, co ostatecznie położyło kres jezuickiemu kolegium w tym mieście.