治6年（1873年）因征韩论失败和板垣退助，西乡隆盛一同下野。随后和板垣退助，江藤新平，副岛种臣一起组建爱国公党，倡导民选议院的建立。明治7年（1874年）以55万日元向政府购下长崎县高岛煤矿成立了蓬莱社。然而2年后破产，在福泽谕吉的建议下转卖给岩崎弥太郎。明治14年（1881年），加入以板垣退助为中心的自由党。明治16年（1883年），在福泽谕吉的建议下，打算借助法国舰队向朝鲜运送自由党成员和民兵支持金玉均，以失败告终。明治20年（1887年）5月，被授予伯爵爵位。S