Храм был сооружён на северном берегу реки Неман около 1400 года для францисканских монахов и иностранных купцов. Строительство было спонсировано Витовтом в качестве коммендации Пресвятой Деве Марии за сохранение его жизни после главного сражения в битве на Ворскле.