1207年（承元元年）及1223年（贞应2年）时发生大火。由于屡次火灾后的修复的缘故，社殿的建筑规模曾经历数次改变，从一幅弘安时代（1278年～1288年）所绘制的图中就可以看出社殿的配置与今日不同。今日的严岛神社的建筑配置，在1325年（正中2年）一场台风后的修缮中大致定下，之后就没有有大幅度的变动。另外，由于神社建于海面之上，因此神社容易受到台风、潮汐、海蚀、海啸及洪水的破坏。神社的主要建筑亦曾受到台风、潮汐、海蚀及海啸的严重破坏，例如：