Der Schrein wurde während seiner Geschichte mehrfach durch Feuer und Erdbeben zerstört, zuletzt 1923 durch das große Kanto-Erdbeben. 1934 wurde er wieder aufgebaut; Die Gebäude wurden dieses Mal aus Beton errichtet. Durch diesen Umstand überstand er die Brandbombenangriffe auf Tokio während des Zweiten Weltkrieges. Einzelne Gebäuderekonstruktionen dauern bis zum heutigen Tag an.