明诗《游斜川》写道：“若夫曾城，傍无依接，独秀中皋。”曾城，即落星墩。大和三年(931年)，吴杨溥封落星石为“宝石山”。唐干宁年间，昭宗李晔敕令建禅寺于上，赐匾额“福星龙安院”，又称“法安院”，俗称“落星寺”。寺有清晖阁、玉京轩、西轩浮玉楼等。黄庭坚《龙图老翁来赋诗》，即指宋龙图阁学士吴仲庶更西轩名为“岚漪”并书二字并刻于石上之事。明天顺年间重建。万历年间，参议于世懋复建浮玉楼。连州廖叶改落星石为“德星山”，寺院随之改称德星寺。南唐释齐已，宋范仲淹、欧阳修、王安石、黄庭坚、程公辟、蒋颖叔、朱熹、