前身「香莲庵」即是由垦号「林合成」所建，土地由垦首郭家所捐，建于咸丰三年（1854年），供奉观音菩萨。寺庙建寺后因该地有冷水坑之泉水围绕，故改名为「灵泉寺」。光绪十四年正月（1889年）垦号金广福与林汝梅等人捐款重修后又改称「长清禅寺」。1895年乙未战争时，台湾人与日本人在金山面交战，「长清禅寺为附近百姓提供之粮食储存之地，以支援义军抗日，却在战争中遭日军焚毁」（吴庆杰）。1897年闽人杨标集资重建。可能在此时因所在地为「金山面」聚落而称金山寺，寺中「开台金山寺」匾额可能也是在此次重建中作的。