多诗人墨客皆取谐音而称为桂子山，且因过去附近到处是一片荒芜，羊肠小径，蔓草杂生，罕有人迹，因此也被称之为「鬼仔山」。1746年（清干隆11年）巡台御史六十七及范咸，命台湾府海防补盗同知方邦基修坟，并在墓前建庙祭祀，所以后人多称「五妃庙」。1927年（日昭和二年）亦曾整修，当时台南州知事喜多孝治手撰「五妃之碑」、「弔五妃墓」诗及跋这座石碑现在仍保存于庙旁。五妃庙坐西朝东北 ，是一座单进两护龙的建筑 ，门神彩绘宦官手捧牡丹鼎庐，喻献花献香与富贵薪传，宫女手捧壶， 桃和石榴 ，喻多福多寿与多子。1998年（