899年开始规划兴建新的总督官邸（今台北宾馆），并在1901年完工后，此建筑先后由台湾守备混成旅团司令部、台湾第一守备队司令部等单位使用。这些单位在1921年迁出后，经改建并命名为「乃木馆」，以纪念乃木希典。乃木馆在1941年6月14日被指定为台湾史蹟名胜天然纪念物的史蹟保存。在使用此建筑的历任总督中，以乃木希典的使用时间最长（1896年10月至1898年2月），其于1896年10月担任台湾总督时，与其妻子乃木静子及母亲乃木寿子偕同来台湾，并居住在此总督官邸。然而，其母在后来罹患疟疾，在乃木总督上任的同年1