入支配的糟屋庄，久寿元年（1154年）12月糟屋庄进献给。之后大山分别成为藤原得子（鸟羽法皇皇后。美福门院）与其子暲子内亲王（八条院）领地。
鎌仓时代至战国时代.鎌仓时代，糟屋氏为源赖朝御家人，因此大山寺受到鎌仓幕府的庇护。《吾妻镜》曾记载大山寺接受源赖朝与源实朝的捐赠。之后，大山寺曾一度荒廃，直至真言宗愿行房宪静（けんじょう）再兴。当时，愿行为了修得降伏蒙古的秘法而前往大山进行百日苦行，在师匠意教房赖贤提供的铁造不动明王像前祈祷时，看见了发怒的不动明王之姿，之后不动明王像更开眼。