隐寺僧明道、智开开山创建，故与灵隐寺同属临济宗。元皇庆间更名为灵鹫寺。清末灵鹫寺达到历史鼎盛时期。20世纪80年代后成为广丰县佛教协会所在地，直至广灵寺建成。1984年6月经省人民政府批准为省重点开放寺庙，1986年被列为广丰县文物保护单位。寺西侧有宋张叔夜衣冠冢。