寺伝によれば、桓武天皇の兄で、光仁天皇の子である開成皇子がこの地に霊験を感じ、自ら観音像を彫り堂宇を建て、宝亀6年(775年)2月18日に創建したと伝えられている。