娶唐太宗第七女即母亲的侄女巴陵公主为妻，任太仆少卿、卫州刺史，封襄阳郡公（谯国公由大哥柴哲威袭爵）。贞观十七年（643年），和魏王李泰交好。永徽三年（652年），时任卫州刺史的柴令武与房遗爱等人密议谋反，永徽四年（653年），柴令武被贬为岚州刺史，接着唐高宗下诏处斩，使者追到华阴，发现柴令武已经自杀，朝廷下令戮尸。