明治の廃仏毀釈までは大神寺あるいは大御輪寺と呼ばれる神宮寺の一つであり、現在聖林寺にある十一面観音菩薩立像を本尊としていたという説がある.
という説がある