南宋朱熹《山北纪行》载：“佛手岩，僧缘岩架屋以居，临锦绣谷”，直到清嘉庆九年（1804年）舒天香在《游山日记》中所载，此处仍为僧所居。因传说唐末吕洞宾在庐山得道成仙，不知何人于何时在佛手岩下建“吕祖神龛”。嘉庆年间，道士晏纯一改“吕祖神龛”为“纯阳殿”。光绪三十一年（1905年）静阳子在仙人洞旁建“老君殿”。1925年“云仙道人”罗理松到处居住，并将原洞西侧的方形门改建为圆门。现在的仙人洞内有一石质神龛，上有吕洞宾身背宝剑的石雕像，两旁有两副对联：“称师亦称祖，是道仍是儒”、“古洞千年灵异，岳阳三醉神仙”。