Kalwaria pod opieką reformatów przeżyła w 1654 najazd wojsk szwedzkich. Sprofanowano wówczas kaplice, zniszczono drzwi i pocięto obrazy. W latach 1656 i 1677 wraz z ludnością Pakości zakonnicy doświadczyli epidemii. Dwóch z nich, którzy schronili się w kaplicy Ogrodu Oliwnego, zmarło 3 sierpnia 1656. W pobliżu kaplic miała miejsce jedna z potyczek konfederatów barskich z oddziałami rosyjskimi 19 marca 1769 − bitwa pod Pakością. Polegli Polacy zostali pochowani w pobliżu Kaplicy Wniebowstąpienia. Franciszkanie opiekowali się kalwarią pakoską aż do kasaty, którą przeprowadził rząd pruski w 1832.