祖父の江耽と父の江康之がいずれも南沙県令という低い官職で生涯を終えているように、江淹は典型的な寒門の家に生まれた上、13歳の時に父親を亡くし、困窮した生活を送っていた。