民胡剑刀运糖经过，得知此事，于是前往参拜，并祷告希望能请菩萨到赤山堡奉香，果然轻轻请上牛车，当时觉得轻如鸿毛，回到赤山村时，佛像如钉牢般不动如山，问卜后得知佛意留在赤山巖，于是迎入奉祀。本寺相传为明郑参军陈永华所建，为洪门天地会的发源地。赤山龙湖巖为明郑参军陈永华于明永历十九年（西元1665年）所建，是三百多年历史名剎，台湾最早的佛门宝剎之一，更是观世音菩萨在台湾最早的开基道场。龙湖巖前中央凸出一块平地，三面环水，犹如一座小型陆岛，每当夕阳斜照，或玉兔东昇，薰风轻拂，湖水如镜，形成各种不同优美景象。