学家周敦颐曾在此隐居讲学。一说则来自于一个禅宗故事：曹洞宗创始人洞山良价与他的师兄神山僧密在潭州云游，发现了一条漂着菜叶的山涧，便随山涧深入到山中，最终寻到了一位隐僧，隐僧因为自己被发现而烧掉了原来的庵房，隐入山中更深处，而被称为龙山和尚或隐山和尚。另外明朝正德皇帝南游至此，惊叹于隐匿山中的佛寺盛景，而题下了“天下隐山”的匾额。
历史名人.
周敦颐.北宋理学开创者、文学家周敦颐曾在隐山隐居讲学，传说周敦颐在此领悟了阴阳八卦太极之理。隐山并有纪念《爱莲说》的莲花