江戸時代の由緒によれば、748年(天平20年)聖武天皇の勅願により奈良西大寺の「忍正」が開祖となって開創され、行基により観音像が安置され、弘仁年間(810年〜824年)真言宗の寺院となったという。