Монастырь является старейшим в Литве и был построен на средства Петра Гоштовта, пригласившего в 1334 году 35 францисканцев. Первоначальные здания ансамбля были готическими. В 1390 году монастырь был разрушен крестоносцами. В 1399, 1533, 1610 годах и позднее монастырь страдал от пожаров. Большой урон ему был нанесён во время войны 1654—1667 годов. После реконструкции в конце XVIII века здания монастыря и костёла получили формы позднего барокко.