寛文年间岛津家合併佐贺藩邸，形成围绕小城藩邸的情况。旧松山、萨摩藩邸在明治6年（1873年）移转给博覧会事务局，明治8年（1875年）改为内务省管辖之博物馆，与动物园、植物园等一同设立。明治14年（1881年）迁移至上野公园，设立东京国立博物馆与上野动物园。旧址的南部设外务省鹿鸣馆，东北部为农商务省农产陈列所，西北部建内务大臣官舍。明治23年（1890年），鹿鸣馆废止，建物改为，南侧前庭建造日本劝业银行、台湾总督府东京出张所。同时，帝国饭店在农产陈列所旧址营业。帝国饭店在大正时期与内务大臣官舍地合併