位住在樟湖附近的居民，在无意间发现一尊形似观音菩萨的石像，于是便诚心供奉该尊石观音，后因祈福灵验而信徒广增，便由信徒斥资建庙，经过多次修建始成今貌。
地理环境.因樟山寺地势高耸、视野辽阔，能俯瞰指南宫、政大、台北盆地、观音山及淡水河，寺庙居高临下，前方宽阔的广场是眺望大台北市区的绝佳地点。附近有三条登山步道，每逢假日，登山客与香客络绎不绝，是木栅茶区最着名的寺庙。