推测阿夫利神社在8世纪前半就已创建。神佛习合时代之后，修验道兴起。对大山的信仰以及对「石尊大权现」的信仰逐渐合而为一。《续群书类从》第27辑下释家部的《大山寺缘起》（真名本）记载天平胜宝7年（755年），东大寺初代别当的良弁僧正创立大山寺。大山寺是圣武天皇祈求国家安稳的勅愿寺，天平宝字5年（762年）在本堂安座不动明王像。元庆2年（878年），大山寺因大地震与大火而烧毁，元庆8年（884年）重建，为天台宗系的修验场。 。平安时代末期，大山编入支配的糟屋庄，久寿元年（1154年）12月糟屋庄进献给。之