1983年，因「ユダの季节」一文，被保守派评论家山崎正和、中岛岭雄及粕谷一希批评立场，被保守论坛孤立。1990年，向东工大辞职，在母校庆应义塾大学法学系担任客席教授。1992年开始成为庆应义塾大学环境情报系教授。退休前一年，离开庆应，1997年，在大正大学担任教授。晩年，跟认为理想的统治者只在非常时期出现的永井荷风及西郷隆盛讨论，有了意外之感。1998年黄昏，夫人庆子去世，翌年1999年7月21日，雷雨交加的晚上在鎌仓市西御门家中浴室，用剃刀割腕自杀，死时66岁。江藤在妻子葬礼后，一直烦恼自己脑梗塞的后