牵涉的山城屋事件、井上馨所牵涉的尾去泽铜山事件仍然严厉究责，造成两人因此被迫辞职。但导入以英法等西欧国家的三权分立为范本的江藤，却遭到其他以普鲁士帝国为范本并抱持着行政权等于司法权的传统政治观念的保守派攻击，也因为过度扩张法院制度引发财政困难与大藏省的井上馨产生争执。
下野到佐贺之乱（佐贺战争）.明治6年（1873年）关于朝鲜出兵问题而生的征韩论，导致政变，让他因此与西乡隆盛、板垣退助、后藤象二郎、副岛种臣等人一起于10月24日下野。明治7年（1874年）1月10日组成爱国公党，并