Een eerste houten kerk werd in 1651 opgericht door koningin Maria Ludovica Gonzaga voor de Franse Orde van Maria Visitatie. Deze kerk werd platgebrand door de Zweden tijdens de Zondvloed. De zusters Visitandinnen begonnen in 1664 met de bouw van een nieuwe kerk, waarvoor de eerste steen werd gelegd door Wacław Leszczyński (1605-1666), prins-bisschop van Ermland en primaat van Polen. Het niet voltooide kerkgebouw brandde echter in 1695 af.