金山寺
寺に伝わる『金山観音寺縁起』(室町時代の成立)によれば、当寺は奈良時代の天平勝宝元年(749年)に報恩大師が孝謙天皇の勅命により開創し、後に報恩開創の備前四十八箇寺の根本道場となったという。創建当時は法相宗に属し、裏山の三鈷峰に建てられていた。本尊として報恩大師自作の千手観音が安置されたと伝わっている。
報恩大師(? - 795)は、備前国津富郡波河(岡山市芳賀)の出身という半ば伝説的な僧で、岡山県地方の古寺には報恩の開基伝承をもつものが多い。
寺は延久元年(1069年)焼失し、平安時代末期の康治元年(1142年)に現在地に移された。
嘉応年間(1169年 - 1170年)に宋より帰国した栄西により護摩堂などが建てられ宗派も天台宗に改められた。この時に院号を遍照院とした。鎌倉時代には将軍家の祈祷所となっている。
戦国時代の文亀元年(1501年)金川城主の松田氏は金山寺に対し自身の信奉する日蓮宗への改宗を迫った。寺院側はこれに応じなかったため、松田氏は寺院を焼き払い堂宇は灰燼に帰した。
その後、伯耆国大山寺より法印円智(豪円)が来山し、松田氏を滅ぼした宇喜多直家の援助を得て、天正3年(1575年)に本堂・護摩堂を再建した。この時に建造された本堂(2012年焼失)は国の重要文化財に指定されていた。宇喜多氏の庇護下、備前国の寺社総管として優遇された。江戸時代になると、岡山藩主池田光政により寺社総管から備前国天台宗総管に改められた。なお、光政は仁王門を寄進している。
平成24年(2012年)12月24日、本堂が火事で全焼した。 その後平成25年(2013年)8月7日付の官報告示で、本堂の重要文化財指定が解除された。