朝大中十二年（858年），当地人民建立了清林寺，就是白云寺的前身。清朝干隆二十八年（1763年），正式更名为白云寺。白云寺有八大景观：鱼山夜月、菱塘晚风、枫林吐雾、石磴穿云、云关锁翠、远岫横琴、仙岩瀑布、蟾谷嘘虹。
文化.干隆帝曾来回龙山白云寺游玩。清朝晚年左宗棠曾题词“南楚灵山”匾额。清朝晚期诗人周亮曾作诗吟咏《回龙山》：“西边远岫似横琴，玉轴徽弦隐翠岑。千古不闻弹一曲，高山流水待知音。”1917年，毛泽东和萧子升曾借宿于白云寺，并且和方丈大师交流。