Pierwszy, drewniany kościół w Żyrmunach powstał w 1437 i został ufundowany przez ówczesnego właściciela wsi Wojciecha Kuczuka. Parafię erygowano w 1522. W 1624 powstała nowa świątynia fundacji wojewody witebskiego Jana Kieżgajły Zawiszy i jego żony Anny. W tych czasach kościół jest wymieniany pw. Najświętszej Maryi Panny. Został on zniszczony podczas IV wojny polsko-rosyjskiej. W latach 1667–1673 zbudowano kolejną świątynię. Żyrmuński kościół był wówczas znany z łaskami słynącego obrazu Najświętszej Maryi Panny oraz relikwii krwi Chrystusa podarowanej przez papieża Urbana VIII biskupowi wileńskiemu Jerzemu Tyszkiewiczowi.