明治12年（1879年）9月15日任水雷练习所长，明治16年（1883年）2月6日任水雷局长，被称为水雷之父。明治19年（1886年）2月24日，任参谋本部第2局长，同年作为西乡从道的随员，赴欧美各国考察，归国后明治20年（1887年）10月8日任舰政局次长、歴任军令・军政等要职。但这时后辈同乡的山本权兵卫开始崭露头角，山本等人的革新派和柴山等保守派的海军派系开始发生争执，柴山等保守派失败失去军权。但柴山作为军事专家以及成绩的积累，人们对他的能力评价很高。明治27年（1894年）7月13日，日清战争