由来是据说清末有5名海盗盘据此山。五桂山与照镜环山、魔鬼山等山峰，山势起伏有如大埔八仙岭，因此被合称为「小八仙」。蓝田区内的蓝田公园就建在五桂山的山脚下。
相关事件.五桂山原本有一批民间自制的雕像，包括各类的动物和人物包括孙中山、蒋介石、三国演义的刘关张和西游记人物等。旅居香港的日本作家金子晴彦的着作《金子旅港行记》亦有提到五桂山雕像。书中表示1970年代有一位老伯发现了一所寺庙的遗迹，并决定重建该寺庙及自制雕像作为庙前的护卫队伍。2017年，地政总署以严正执法为由清拆该批雕像