同年，当地仕绅吴廷诰在经黄善之子黄国聘同意后，在芝山岩建造了一做供奉观音的「芝山巖寺」，并于干隆二十九年（1764年）完工，而惠济宫亦在同年完工。1786年，林爽文事件爆发，八芝兰跟芝山岩皆成为激烈战场，造成死伤惨重。而1859年在台北爆发大规模的漳泉械斗亦蔓延至芝山岩附近，亦造成多人伤亡。当地民众于事后将漳泉械斗及林爽文事件的遗骸同葬，设立了芝山岩同归所。1840年，在当地仕绅潘永清倡议下，在惠济宫东侧建立了「文昌祠」，并设立了全台湾最早的义塾「文昌祠义塾」。1849年，惠济宫方立了「芝山合约碑记」，