，却遭到其他以普鲁士帝国为范本并抱持着行政权等于司法权的传统政治观念的保守派攻击，也因为过度扩张法院制度引发财政困难与大藏省的井上馨产生争执。
下野到佐贺之乱（佐贺战争）.明治6年（1873年）关于朝鲜出兵问题而生的征韩论，导致政变，让他因此与西乡隆盛、板垣退助、后藤象二郎、副岛种臣等人一起于10月24日下野。明治7年（1874年）1月10日组成爱国公党，并于1月12日签署民撰议院设立建白书后，决定归乡。大隈重信、板垣退助、后藤象二郎等人看穿江藤返乡的事情之中，存有大久保利通的阴谋