Das Tempelgelände wurde Kommodore Matthew Perry im Jahr 1854 als Wohnsitz zugewiesen. Historische Bedeutung erlangte der Tempel aber erst am 29. Juli 1858, da an diesem Ort der sog. Harris-Vertrag zwischen den Vereinigten Staaten von Amerika und Japan (Tokugawa-Shogunat) unterschrieben wurde. Aus diesem Grund wurde der Tempel von der japanischen Regierung zur historischen Stätte erklärt, weshalb sich heute auch ein kleines Museum auf dem Tempelgelände befindet.