栗氏亲属而受株连。但因他忠厚，景帝不忍加诛，赐其免官归家。不久，刘彻为太子，卫绾又受诏为太子太傅，旋升为御史大夫，专治刑狱；五年后升为丞相。
武帝时期.至刘彻即位，以不称职之名被罢免。汉武帝以窦婴为丞相，取代卫绾。以田蚡为太尉，以牛抵担任御史大夫，取代直不疑。卫绾死后，谥号哀侯。
家庭.子卫信嗣侯，元鼎五年，因酎金被除国。