的初代古河公方为了除厄古河城的鬼门，从鎌仓的长谷寺恭请十一面观世音菩萨立像，并建立堂舍为此寺的起源。在江户时代，也成为历代古河城主的祈愿所。在文政13年（1830年）左右写成的《古河志》里，与大和（奈良县）和鎌仓的长谷观音一起并列以「三长谷」称唿介绍。在明治初年（1868年）被废寺，八间四面的本堂也被破坏，到大正3年（1914年），才由有志的供养者于原地复兴。但是，同时十一面观音被移往市内横山町的德星寺。被认为是日本三大长谷观音之一的原因，是因为有口述传说大河、鎌仓、古河的长谷观音都是从同一棵樟树所雕刻