立即组编陆军第二军。由于陆军大臣大山巖出任第二军司令官，他于是成为实际上的陆军大臣，从兵力部署到物资辎重，无一不躬行实践。1895年8月20日，日本明治天皇赐其金鸱勋章及旭日重光章，并授予男爵爵位。后擢任第3师团长、内务大臣。1898年2月26日，兼任台湾总督；1906年4月11日，由佐久间左马太接任台湾总督。1906年7月23日，脑溢血病逝，享年55岁。儿玉源太郎病逝后葬于东京都府中市的多磨灵园。
担任台湾总督期间.甲午战争后，日本强迫清政府签订《马关条约》，台湾及澎湖列岛被