安里山長福寺(掛川市本郷)第二代智顕上人が、「ひょんの木(イスノキ)の茂る山頂、此処に我を祀り広く功徳を施せ」との霊夢を見たとして、807年(大同2年)2月17日、大尾山に観音堂を建てて千手観世音菩薩を祀ったのが始まりと伝えられている。