《大山寺缘起》（真名本）记载天平胜宝7年（755年），东大寺初代别当的良弁僧正创立大山寺。大山寺是圣武天皇祈求国家安稳的勅愿寺，天平宝字5年（762年）在本堂安座不动明王像。元庆2年（878年），大山寺因大地震与大火而烧毁，元庆8年（884年）重建，为天台宗系的修验场。 。平安时代末期，大山编入支配的糟屋庄，久寿元年（1154年）12月糟屋庄进献给。之后大山分别成为藤原得子（鸟羽法皇皇后。美福门院）与其子暲子内亲王（八条院）领地。
鎌仓时代至战国时代.鎌仓时代，糟屋氏为源赖朝御