1748年（延享5年）に火災に遭い、寺記がすべて燃えてしまったため、創建がいつなのかは分かっていない。だが、金沢文庫所蔵の『十八道私記』奥書に、「寛元二年甲辰二月廿九日申尅香貫郷於尺迦堂北僧坊書写了」という記述があることから、遅くとも鎌倉時代中期（1244年）には香貫郷に複数の僧堂を持つ寺院があったとみなせ、これが霊山寺の前身と考察されている。五輪塔下から見つかった蔵骨器の銘文にある成真大徳は、『西大寺叡尊上人遷化之記』にある、叡尊の死の知らせを受けた極楽寺忍性が上洛させた駿州霊山寺成真と同一人物と見なすことができる。五輪塔の存在と考え合せ、鎌倉時代後期には霊山寺と呼ばれる律宗寺院となったと見なされている。弘治三年（1557年）伊豆国北条村の真珠院の住職機外永宜を招いて中興開山とし、曹洞宗に改宗した。永禄元年（1558年）の『朝比奈泰朝判物』では寺領十八貫文が安堵されている。16世紀半ばに曹洞宗の寺院として復興した霊山寺は、今川氏、北条氏の庇護を受けた。江戸時代も寺領朱印高31石3斗余りを安堵された。
霊山寺のある香貫地区には、東本郷古墳群（6世紀末から7世紀）を始めとして弥生時代以降の遺跡が数多く分布している。霊山寺墓地東側の崖面には、横穴群が存在する。標高約8メートル付近の凝灰岩の露頭を掘削したもので、3段11基の存在が認められている。横穴の多くは3段目に位置しているが、これは墓地無縫塔群の背後にあたる。平面形では、奥の壁側が広い台形の構造が基本となっている。この横穴群は霊山寺の西側にある東本郷古墳群よりやや遅い7-8世紀の造営と推定される。発掘調査は未実施のため、遺物の出土は記録されていない。横穴のほとんどがコンクリートで開口部を塞がれ、2-3基しか見ることができなくなっている。伊豆半島北西部には、横穴群の分布が集中的にみられる。狩野川の左岸と右岸では性質が違い、左岸にあたる霊山寺横穴群などは数百万年前、伊豆と本州が衝突して1つになる前に海底に堆積していた火山灰や軽石などの地層の中に掘られている。この地層は掘削しやすく、壁面部には堆積時の縞模様が残されている。一方、右岸側の柏谷横穴群（田方郡函南町）などは数十万年前の箱根火山の火砕流堆積物などの中に多く作られている。霊山寺横穴群は、伊豆半島北西部に分布する横穴の北西限を示す存在として貴重なものと評価されている。ただし、東本郷古墳群とは時間的に連続しておらず、造営集団の関連も不明である。この地に霊山寺が開創された理由については、香貫地区西側の一角が古くから古墳や横穴などが多く作られ、来世にかかわる空間であったこととの関連性が指摘されている。
霊山寺は沼津市上香貫東本郷町にある。ここは市街地の東にある香貫山（標高193メートル）の麓であり、本堂や山門は山の崖を背後に、西を向いている。南には香貫山経塚、狩野川を挟んで対岸には日吉廃寺がある。同寺の墓地は本堂の背後、香貫山北西部の尾根に付き添うかのように広がっている。この墓地の敷地内に五輪塔が三基、宝篋印塔が四基ある。この中には中世の五輪塔、宝篋印塔も残っている。ここは中世に遡って墓地として使用され続けてきた。近世は沼津城の近隣にある霊山寺の地域性からみても、武士層の墓地として使用されてきたことが想定されている。さらに遡っても、霊山寺の墓地がある地域は、古代の横穴墓の時代から墓域として利用されてきた。。そもそも霊山寺のある香貫地区には、東本郷古墳群（6世紀末から7世紀）を始めとして弥生時代以降の遺跡が数多く分布している。そして霊山寺墓地東側の崖面にもまた、横穴群が存在する。
事件の舞台は1986年夏に行われた衆参ダブル選挙だった。定数3の大阪府選挙区において、当時自民党公認で参議院選挙に出馬した京極俊明に対して違法な選挙応援をしたとして、高槻市議会議員平野一郎を始めとする後援会の人々など、後に計147人もの自白調書が取られた。1986年8月、平野をはじめとする28人が公職選挙法違反の罪で起訴、119人が略式起訴され、罰金1万円から7万円の略式命令を受けた。しかし、11人は略式命令に従うも、136人が正式裁判を要求して大阪地方裁判所で裁判がおこなわれることになった。裁判での検察の主張は、平野が後援会の役員27人を呼んで京極の票の取りまとめを依頼、そして現金3万円と菓子類を渡し、さらにその次に後援会の人々143人を高槻森林観光センターに3回に分けて呼んで京極にあいさつさせたことになった、というものであった。一方、弁護側は役員会が本当にあったのか、京極が宴会の席に来たのは事実かという疑問点を主張した。この主張に対して検察側は、役員会があったとされる日にちについて、1986年の3月下旬⇒3月18日から4月3日⇒4月6日以前⇒3月29日頃、と変異した。ほとんど自白調書しか証拠がない中、1991年3月、大阪地裁は全員に対して無罪判決を下した（裁判中に8人が死亡）。判決では、京極が当日大阪府内の6箇所ものあいさつ周りをしており、その間に宴会に出席するには時間的に不可能に近いこと、役員27人が集まったとされる日にちが見当たらないこと、などが理由として挙げられ、自白調書についての信用性を否定した。検察はこの判決に対して控訴を断念した。結果的に略式命令に従った11人も含めて、無罪が確定することになった。