任台湾总督时，与其妻子乃木静子及母亲乃木寿子偕同来台湾，并居住在此总督官邸。然而，其母在后来罹患疟疾，在乃木总督上任的同年12月即在此建筑病逝，并依其遗愿安葬在台湾（台北市三桥町的墓地，今林森公园）。乃木馆的地址为台北市乃木町一丁目1-2番地，与台北偕行社位于同个街廓。乃木馆在二战后拆除，改建为妇联总会之办公室。此街廓在2007年改为台北地方法院宝庆院区，并在此挖掘发现了番学堂遗迹。