了洛阳之战和虎牢关之战，屡立战功，因此封为霍国公，食邑一千二百户，并转为右骁卫大将军。武德六年（623年）二月，柴绍的妻子平阳公主去世。四月，吐谷浑侵扰芳州，唐芳州刺史房当树逃奔松州。二十一日，吐谷浑军进扰洮、岷 二州。五月初五，岐州刺史柴绍奉命率娘子军总管马三宝等将领前去救援，。十五日，吐谷浑及党项侵犯河州，唐河州刺史卢士良将其击败。六月，柴绍军进至岷州。二十九日，柴绍与吐谷浑作战，被围困在一山谷中。吐谷浑军据高临下射击柴绍军，箭如雨下，形势危急，唐军将士皆失色。柴绍则临危不惧，安然而坐，让人弹奏胡琵