野見宿禰
野見宿禰の後胤として葛城氏、土師氏などが挙げられる。土師氏の中には、姓を菅原氏、秋篠氏、大江氏の諸氏に改めた氏があるとのことであり、その菅原氏から公家の五条家 (堂上家)が輩出された。そして五条家は野見宿禰の子孫であることから相撲司家となった。 また、菅原氏は特に菅原道真の嫡流には高辻家があり、その庶流として唐橋家、支流として五条家がある。また五条家の支流として東坊城家、清岡家、庶流として桑原家が輩出されたとのこと。この六家は堂上家であり、うち五家は明治時代においていずれも華族となり当主は子爵に叙されている。
伝承では、この神社の裏山にある岩を用いて修行したともいわれている。