征韓論をめぐる明治6年（1873年）10月の政変で政府首脳が分裂した結果、征韓派の参議・西郷隆盛や江藤新平、板垣退助らが下野し、政府を去った。
明治6年（1873年）关于朝鲜出兵问题而生的征韩论，导致政变，让他因此与西乡隆盛、板垣退助、后藤象二郎、副岛种臣等人一起于10月24日下野。