有才学，十多岁时即能赋诗，被称为奇才，在南朝陈时，被封为义阳王。历任侍中、丹阳尹、都官尚书等。589年，隋灭南陈，入隋。大业中为内史舍人，至绛郡通守。后为李渊所俘，授丞相府主簿，封汉东郡公。武德初，授黄门侍郎，判纳言，封江国公。武德七年（624年），与欧阳询、裴矩等同撰《艺文类聚》100卷。贞观初年，加授光禄大夫。与萧瑀争殿中，坐忿谇不恭，免官。不久，居母丧，又有疾，唐太宗很担忧，遣使禁却吊者。丧除，为遂州都督，因病未接受任命。顷之，擢礼部尚书。后授散秩归第。贞观九年（635年）卒，谥曰缪。久之，追赠户