太郎初次上阵，是参加戊辰战争，后任兵部省御雇。大坂兵学寮（陆士前身）毕业。1871年4月15日，初任陆军准少尉，佐贺之乱时他作为大坂镇台大尉副官从军，在战场上负伤，神风连之乱时，他是熊本镇台的副参谋长，以手腕高超着称。1877年，适逢西南战争，西乡隆盛带了三万五千人包围了熊本城，儿玉源太郎镇守熊本城，眼看着就守不住城了，守军中有人想起来当年从法国买了两门炮，从来没有使用过，这时候架起炮来照着说明书开了一炮。炮弹虽然不知道打到什么地方去了，但攻城的敌兵真正被吓跑了，不管指挥官怎么命令，再也不肯近城一步