元は霊山山頂に位置した巨大寺院で、七堂伽藍を有して信仰を集めたが、天正伊賀の乱で焼失し、江戸時代の延宝年間(1673-1681年)に鉄牛禅師によって中興開基された。