邑（今山西霍县）时，柴绍城下侦察了隋守将宋老生的布防，回来后对众将领说：“老生有匹夫之勇，我师若到，必来出战，战则成擒矣。”八月初三，李渊计诱宋老生出城，两路夹击，大败隋军。李渊军攻取霍邑后，沿汾水南下，一路攻城掠地，柴绍每战都当先登城破阵，因功又授右光禄大夫。十五日李渊军进至龙门（今山西河津西北）。九月初，隋将屈突通派桑显和率数千名士卒乘夜袭击王长谐等军，王长谐等初战不利。柴绍与史大柰率轻骑从侧后袭击桑显和军，桑显和大败，败回河东（郡治河东，今山西永济西南）。十一月初九，李渊攻克长安，拥杨侑即位。柴绍进右