拜柴绍为左翊卫大将军。此后柴绍随秦王李世民参加统一战争。先后平薛举，破宋金刚，败王世充，擒获窦建德，又参与了洛阳之战和虎牢关之战，屡立战功，因此封为霍国公，食邑一千二百户，并转为右骁卫大将军。武德六年（623年）二月，柴绍的妻子平阳公主去世。四月，吐谷浑侵扰芳州，唐芳州刺史房当树逃奔松州。二十一日，吐谷浑军进扰洮、岷 二州。五月初五，岐州刺史柴绍奉命率娘子军总管马三宝等将领前去救援，。十五日，吐谷浑及党项侵犯河州，唐河州刺史卢士良将其击败。六月，柴绍军进至岷州。二十九日，柴绍与吐谷浑作战，被围困在一山谷