与史大柰率轻骑从侧后袭击桑显和军，桑显和大败，败回河东（郡治河东，今山西永济西南）。十一月初九，李渊攻克长安，拥杨侑即位。柴绍进右光禄大夫，封临汾郡公。
唐朝建国以后.618年五月，李渊在长安称帝，建立唐朝，是为唐高祖，改年号为武德。拜柴绍为左翊卫大将军。此后柴绍随秦王李世民参加统一战争。先后平薛举，破宋金刚，败王世充，擒获窦建德，又参与了洛阳之战和虎牢关之战，屡立战功，因此封为霍国公，食邑一千二百户，并转为右骁卫大将军。武德六年（623年）二月，柴绍的妻子平阳公主去世。四月，