擢任第3师团长、内务大臣。1898年2月26日，兼任台湾总督；1906年4月11日，由佐久间左马太接任台湾总督。1906年7月23日，脑溢血病逝，享年55岁。儿玉源太郎病逝后葬于东京都府中市的多磨灵园。
担任台湾总督期间.甲午战争后，日本强迫清政府签订《马关条约》，台湾及澎湖列岛被割让于日本。当时日本为了迅速平定台湾，採取了剿抚并用的手法。但前三任台湾总督桦山资纪、桂太郎、乃木希典都没能控制住台湾；在乃木看来，台湾对日本而言是得不偿失，军费开支每年高达700万日元，日本还得从中