Die Tempelgebäude wurden im Laufe ihrer Geschichte durch die häufigen Brände in Edo mehrfach zerstört und wieder aufgebaut. Im 20. Jahrhundert verursachte das Große Kantō-Erdbeben 1923 schwere Schäden. Die Luftangriffe auf Tokyo gegen Ende des Zweiten Weltkriegs trieben den Tempel erneut in eine Existenzkrise.