De huidige barokke Sint-Antonius van Paduakerk werd gebouwd tussen 1668 en 1680. De voorganger werd door de toenmalige Poolse Koning Sigismund III gesticht in 1623 . De koning stichtte deze kerk uit dankbaarheid voor God, omdat hij de toenmalige Litouwse stad Smolensk (Pools: Smoleńsk) had terugveroverd voor Polen-Litouwen op Rusland, tijdens de Pools-Russische Oorlog (1605-1618). Smolensk was in het eerste deel van de 17e eeuw, de grootste stad van het Grootvorstendom Litouwen. Het leggen van de eerste steen werd bijgestaan door Koning Sigismund III, zijn vrouw Koningin Anna van Oostenrijk en twee van zijn opvolgers:zijn zoon Wladislaus Wasa en Jan II Casimir van Polen. Koning Wladislaus moest tijdens de Smolenskoorlog bovengenoemde stad moest verdedigen tegen de russen die de stad wilde heroveren. Tevens was bij de grondlegging in 1623: de toekomstige Paus Clemens X aanwezig, die in 1623 nuntius was. De kerk werd door de Sejm toegewezen aan de Franciscanen, nabij de kerk ligt het klooster.In het begin was deze kerk van hout.