政权等于司法权的传统政治观念的保守派攻击，也因为过度扩张法院制度引发财政困难与大藏省的井上馨产生争执。
下野到佐贺之乱（佐贺战争）.明治6年（1873年）关于朝鲜出兵问题而生的征韩论，导致政变，让他因此与西乡隆盛、板垣退助、后藤象二郎、副岛种臣等人一起于10月24日下野。明治7年（1874年）1月10日组成爱国公党，并于1月12日签署民撰议院设立建白书后，决定归乡。大隈重信、板垣退助、后藤象二郎等人看穿江藤返乡的事情之中，存有大久保利通的阴谋，因此尝试要慰留他，但江藤完全听不进去并