江齐之是刘宋的都水使者、尚书金部郎；祖父江柔之南齐的尚书仓部郎，有孝行，因为母亲逝世过度伤心而亡；父亲江革则是南梁的度支尚书、光禄大夫。江德藻好学，善于写文章；仪容英俊，身高七尺四寸；个性至孝，对亲人尽礼；；与异母弟弟同居，情谊很深。他自南中郎将、武陵王萧纪的行参军起家；大司马南平王萧伟听闻他的才华，就征召为东合祭酒；迁任安西将军、湘东王萧绎的王府外兵参军，很快改授尚书比部郎，父亲逝世时辞官。服丧完毕后，他容貌消瘦，好像还在服丧；任职安西将军、武陵王萧纪的记室，未就任。其后朝廷授与庐陵王萧续记室参军的职务，