Відновлені будівлі знову згоріли при облозі міста 1655 року. Кармеліти взуті отримали кошти для відновлення монастиря у 1720-х роках. Мурований костел присвятили святу Відвідання Марії (). Також мурованими були будівлі монастиря, який був головним конвентом Руської провінції ордену і де перебувало 52 ченці. Барські конфедерати 1769 декілька разів спробували захопити Львів через Галицьку браму. Костел і монастир значно потерпіли від артилерійського обстрілу з сторони міста і пожежі передмістя, підпаленого конфедератами при відступі. Зокрема згоріла вежа костелу з годинником фундації Йоанни Яблоновської. Монастир 1784 року австрійці закрили. Костел був парафіяльним у 1786—1789 роках, після чого парафію перенесли до костелу св. Андрія бернардинців. Ченці перевезли літургічне начиння, вівтарі до свого костелу в Милятині неподалік Буська. У будівлях монастиря відкрили фабрику шовкових тканин, яка збанкрутувала. Потім тут знаходились казарми, а на початку ХІХ ст. відкрили в'язницю (в ній утримували Івана Франка, 1877—1878). Костел використовували як склад, а з 1870-х років тут вправлялись львівські пожежники. Костел і частину будівель монастиря почали розбирати 1876 року, а 1889 закрили в'язницю. На місці костелу Франциска Сковрона збудували за проектом будівлю Вищого Суду Галичини, звану Палацом Правосуддя (1891—1895). Серед кварталу збереглось крило монастиря, яке використовували для потреб суду. Після 1945 року будівлю суду передали війську, від якого вона дісталась військовій кафедрі ЛПІ. На місці монастирського саду спорудили будівлю 3-ї гімназії ім. Франца Йосифа І за проектом Юліуша Гохберґера (1876).