長らく神仏習合が行われており、当社の神宮寺として油日寺(金剛寺)があったが、明治時代になって神仏分離が行われると当社は油日寺と分離し、油日寺はその名を神宮寺と改名して独立した。