从一幅弘安时代（1278年～1288年）所绘制的图中就可以看出社殿的配置与今日不同。今日的严岛神社的建筑配置，在1325年（正中2年）一场台风后的修缮中大致定下，之后就没有有大幅度的变动。另外，由于神社建于海面之上，因此神社容易受到台风、潮汐、海蚀、海啸及洪水的破坏。神社的主要建筑亦曾受到台风、潮汐、海蚀及海啸的严重破坏，例如：