冠军县公，父亲柴慎是隋朝太子右内率，封鉅鹿郡公。柴绍自幼矫健敏捷有勇气和力量，抑强扶弱为己任闻名于关中。柴绍年轻时补任隋朝元德太子杨昭的千牛备身，唐国公李渊将第三女李氏嫁给了柴绍。
反隋战争.隋义宁元年（617年）四月，李渊在晋阳起兵，并秘密派人召当时还在长安的柴绍夫妇。二人接信后，商议决定让柴绍立即自长安启程赶往晋阳，李夫人留下自寻出路。柴绍路遇自河东出发的李建成、李元吉二人，说服李建成打消落草的念头，三人加紧赶路前往太原。行至雀鼠谷（今山西介休西南、霍县以北汾河河谷）时，听说李