耽和父亲江康之都在南朝宋任县令（六品），家世不高。江淹六岁能诗，十三岁时父亲去世，家境贫寒，靠砍柴供养母亲，但是他非常好学，仰慕司马相如、梁鸿的为人，喜欢学习写文章。江淹约在460年代中期就开始入仕，最早是担任“南徐州从事”的小官。“从事”在当时是地方州郡长官自己任命的一种属官，大概等于现在的助理。这样的官职没有较高的品秩和待遇，实际上还不能算是朝廷正式的官员，但是能够接近掌权者。接着他转任“奉朝请”，这也是一种类似天子随从的官职，在当时已经降低为次门寒士的起家官。泰始二年（466年），江淹跟从建平王刘景素