玉半九郎长子，幼名百合若，后称健。9岁时，父亲为藩内守旧派暗杀，姐夫继承了家业，后来他在革新派的支持下才继承家名。1868年，儿玉源太郎初次上阵，是参加戊辰战争，后任兵部省御雇。大坂兵学寮（陆士前身）毕业。1871年4月15日，初任陆军准少尉，佐贺之乱时他作为大坂镇台大尉副官从军，在战场上负伤，神风连之乱时，他是熊本镇台的副参谋长，以手腕高超着称。1877年，适逢西南战争，西乡隆盛带了三万五千人包围了熊本城，儿玉源太郎镇守熊本城，眼看着就守不住城了，守军中有人想起来当年从法国买了两门炮，从来没有