1871年废藩置县后，被封为公爵。此后在政府的命令下，居住于东京。1888年时，得到政府许可后，返乡回到鹿儿岛。忠义相当擅长犬追物与马术，对摄影与烟火制作也很有兴趣，是拥有许多嗜好的人。1889年2月11日，大日本帝国宪法公布当日，德国医学家埃尔温·贝尔兹的日记里，记载着他对忠义穿着洋服及留胡子的样子十分惊讶。从这一点，可以看得出忠义对于西洋文化的造诣颇深。1897年12月26日，以58歳之龄在鹿儿岛市逝世。死后追授勋一等旭日桐花大绶章。翌年1月9日，举行国葬。现在忠义的墓碑仍保存于尚古集成馆