40年，在当地仕绅潘永清倡议下，在惠济宫东侧建立了「文昌祠」，并设立了全台湾最早的义塾「文昌祠义塾」。1849年，惠济宫方立了「芝山合约碑记」，以确立芝山岩的所有权由公众所有，且作为漳州人祭祀神灵的福地，不得砍树以及做其他开发利用。芝山岩在清代的《淡水厅志》中被记载为「独峙在芝兰保芝山」，而在咸丰10年（1860年），士林地方文人将芝山岩列为「芝兰八景」（芝山独峙、兰港双桥、竹林石室、石壁渔舟、番井沸泉、猿洞桃花、磺溪吼雨、屯上积雪）之一。山脚下有1825年设立的西门（芝山岩隘门），门额上题有「芝山岩」