Храм був споруджений на північному березі річки Німан близько 1400 року для ченців-францисканців та іноземних купців. Будівництво фінансував князь Вітовт як комендацію Пресвятій Діві Марії за збереження його життя після головного бою в битві на Ворсклі.