佐賀藩
文久2年（1862年）脱藩並且在京都活動，同時與長州藩士桂小五郎（木戶孝允）以及公家姉小路公知等人接觸。歷經兩個月後歸鄉，雖然脱藩通常是死罪，但由於江藤的見識而受到高度評價，佐賀藩第10代藩主鍋島直正遂直接裁斷永蟄居（無期謹慎）較輕的處分。蟄居後，他擔任寺子屋老師，並持續與同伙們秘密交流，以及針對幕府的長州征伐（幕長戰爭）的出兵問題向佐賀藩第10代藩主鍋島直正提出建議等政治活動。