物园、植物园等一同设立。明治14年（1881年）迁移至上野公园，设立东京国立博物馆与上野动物园。旧址的南部设外务省鹿鸣馆，东北部为农商务省农产陈列所，西北部建内务大臣官舍。明治23年（1890年），鹿鸣馆废止，建物改为，南侧前庭建造日本劝业银行、台湾总督府东京出张所。同时，帝国饭店在农产陈列所旧址营业。帝国饭店在大正时期与内务大臣官舍地合併，形成现在的建地。华族会馆在昭和2年（1927年）卖给日本徴兵保险会社，建物毁坏后改建，战后由属继承。台湾总督府之后改为大楼，战后与日本劝业银行兼併成为现在的瑞穗