一時は久光の右腕として権勢を振るったが、薩英戦争で精忠組が復権してくると、藩内の尊攘派からは西郷を島流しにしたと憎まれ、また偏狭な性格もあって失脚した。