家。虽然一度被藤原氏抢去神社主家，但藤原氏没落后佐伯一族就重掌神社。
神社受到的破坏.严岛神社的社殿曾在1207年（承元元年）及1223年（贞应2年）时发生大火。由于屡次火灾后的修复的缘故，社殿的建筑规模曾经历数次改变，从一幅弘安时代（1278年～1288年）所绘制的图中就可以看出社殿的配置与今日不同。今日的严岛神社的建筑配置，在1325年（正中2年）一场台风后的修缮中大致定下，之后就没有有大幅度的变动。另外，由于神社建于海面之上，因此神社容易受到台风、潮汐、海蚀、海啸及洪水