渊伯父江夷在当时有名，堂兄江湛亦有声誉，后来更得宋文帝宠信，成为心腹。而智渊父亲江僧安寂寂无闻，对比江夷父子差距甚大，而江湛对这位堂弟亦不太礼遇，令智渊常常引以为恨，不到节日都不会去拜访江湛。在任刘诞参军，随其出镇襄阳时，这位宗王对他甚好，同府的谘议参军谢庄及主簿沈怀文都和智渊结交，沈怀文更常称许智渊:「人所应有尽有，人所应无尽无者，其江智渊乎。」后江智渊当上高门子弟不会当的尚书库部郎，江智渊自知这源于自己家门势力低，于是一直不肯拜官。刘诞于是再请智渊当其骠骑参军，后来亦让其一直跟着自己，先后转骠骑主簿、司