山脚下有狭窄的海湾，但考虑到在绳文时代海平面较现在约高5米，象头山当时是岛屿，而大物主命是“从海之彼方照耀着波浪而显现之神”，这样说来比较妥当。长宽元年（1163年），被流放中的崇德上皇曾参拜象头山松尾寺金光院。永万元年（1165年），基于修验道的御灵信仰，死于赞岐国流放中的崇德天皇被合祀于象头山松尾寺金光院。战国时代虽然神社一度荒废，金光院第4代别当金刚坊宥盛传播了金毗罗信仰，并整修了境内。有传说宥盛临死前发誓化为天狗以守护金毗罗神体，死后葬于本堂附近。
江户时代.江户时