说李渊已于五月十五日晨宣告起兵，三人相互庆贺，李建成兄弟均称赞柴绍的主意。李渊太原起兵后，于六月建大将军府，授柴绍右领军大都督府长史之职。七月初五，李渊统甲士3万于晋阳誓师出发，柴绍兼领马军总管。李渊军将至霍邑（今山西霍县）时，柴绍城下侦察了隋守将宋老生的布防，回来后对众将领说：“老生有匹夫之勇，我师若到，必来出战，战则成擒矣。”八月初三，李渊计诱宋老生出城，两路夹击，大败隋军。李渊军攻取霍邑后，沿汾水南下，一路攻城掠地，柴绍每战都当先登城破阵，因功又授右光禄大夫。十五日李渊军进至龙门（今山西河津西北）