待国外宾客的迎宾馆。直到1889年（明治22年）鹿鸣馆建成后取代了延辽馆成为新的迎宾馆，老旧的延辽馆被拆除为止，包括美国第18任总统格兰特夫妇等人都曾经在此居住。除此以外，庭园的其他部分在明治维新中作为皇室的离宫，划归宫内省管辖，改名为。1945年（昭和20年）11月3日，二战战败的日本政府以盟军总司令部的要求将滨离宫下赐给东京都。次年4月1日，修整后的滨离宫作为都立庭园向一般民众收费开放。1949年（昭和23年）12月，根据日本的《文化财产保护法》，被指定为国家名胜及史迹。1952年（昭和27年）11