修。此后，经过历代将军几次的建设和改修，在第十一代将军德川家齐时，这片宅地基本有了如今庭院的模样。幕府末期，庭园所在地成为幕府海军的基地，称为，幕府海军的也迁移至此处。同时，日本的第一座石造西洋建筑——名为的幕府海军教学基地——开始建设。1869年（明治2年），延辽馆建设完成，建筑面积约1,400平方米，成为明治天皇接待国外宾客的迎宾馆。直到1889年（明治22年）鹿鸣馆建成后取代了延辽馆成为新的迎宾馆，老旧的延辽馆被拆除为止，包括美国第18任总统格兰特夫妇等人都曾经在此居住。除此以外，庭园的其他部分在