座所甚力，事后得天皇褒勉。明治15年（1882年），如期致仕。明治16年（1883年），为凭弔殉身维新的人们，创建了菩提寺。明治18年（1885年），继承宗家，开之新流。明治20年（1887年）叙勋，位列子爵。但约在此时，长年患有胃病的他，被诊断已恶化为胃癌。翌年7月19日朝9时，铁太郎面向皇居，以跏趺坐的姿势逝去，享年53岁，死后追赠勋二等旭日重光章。