湾清治时期的番学堂，其在日治初期1895年8月作为总督官邸，前几任的台湾总督如桦山资纪、桂太郎、乃木希典和儿玉源太郎（另建有南菜园别墅）皆曾居住于此，直到儿玉总督在1899年开始规划兴建新的总督官邸（今台北宾馆），并在1901年完工后，此建筑先后由台湾守备混成旅团司令部、台湾第一守备队司令部等单位使用。这些单位在1921年迁出后，经改建并命名为「乃木馆」，以纪念乃木希典。乃木馆在1941年6月14日被指定为台湾史蹟名胜天然纪念物的史蹟保存。在使用此建筑的历任总督中，以乃木希典的使用时间最长（1896年10月