1871 fiel das Gelände an Prinz Arisugawa, dann kam es 1875 unter die Verwaltung des Innenministeriums als Ausweichquartier des Kaiserhauses in Notfällen, 1876 schließlich als „Außenpalast“ (, "rikyū"). Beim Kantō-Erdbeben wurde der Garten stark beschädigt und wurde 1924 der Stadt Tokyo überlassen. 1962 verlor der Garten 4.800 m² durch den Bau der Shinkansen.