淹乃谓子弟曰：「我本来是清贫的官吏，不求富贵，如今忝窃，遂至于此。平生言止足之事，亦以备矣。人生行乐，须富贵何时。我功名既立，正欲归身田野。」同年又因病迁任金紫光禄大夫（退休用的高位闲职），改封醴陵伯。天监四年（505年），江淹逝世，享年六十二岁，梁武帝萧衍为他身穿素服致哀，谥江淹为「宪」。江淹死后埋葬在江墓店（今民权县李堂南岳庄）。江淹的儿子江蒍承继爵位，官至长城令。普通四年（523年），萧衍追念江淹的功绩，又封江蒍为吴昌伯。
“江郎才尽”.“江郎才尽”这个典故语出南朝梁钟嵘