晋升为大将。由于他无血战之功而任大将，招致了一部分人的妒忌，散布谣言说非是萨摩藩出身的人不可能成为大将，如果是萨摩的，不打仗也能成大将。明治40年（1907年）2月14日，被编入预备役。大正9年（1920年）7月13日退役。此后与海军断绝关系，死后获得正二位。葬于东京多磨霊园的柴山家族墓地。高知県出身的彫刻家土方久功之母是柴山的孙女。