色得到武帝宠幸，后以校尉从大将军卫青攻打有功，为龙额侯，却因酎金失侯。元鼎六年（前111年），以待诏为横海将军，出会稽郡，与杨仆、王温舒击灭东越有功，封为按道侯。太初三年（前102年），为游击将军，屯于五原外列城。为光禄勋。征和二年（前91年）与江充、苏文、章赣在太子宫搜查巫蛊，被卫太子刘据所杀，长子韩兴袭封。