记表》中记载该寺始建年代为“建于唐”。记录其位于“西郊五分署四平台五十二号，建于唐，清干隆二十八年重建。”现存建筑建于清朝。三山庵原来供奉桃园三结义的刘备、关羽、张飞，故又称三圣庵。因为规模很小，故称“庵”。有说法认为，三山庵因位于翠微山（平坡山）、觉山（虎头山）、卢师山（青龙山）之间而得名。但实际上三山庵并不位于三山之间，三山庵和证果寺间的同济桥周围才是三山之间。许多文人曾在三山庵留下诗画。知名画作有明朝的《观流图》、《观泉图》、《观月图》，清朝的《灵光指径》、《香界重游》、《干隆松石流泉闲坐图》