降为屯骑校尉。太安二年（303年），义阳蛮张昌发动叛乱，并进攻附近郡县，刘乔获任命为威远将军，豫州刺史，并与荆州刺史刘弘一同领兵平乱，平定后进位左将军。永兴元年（304年），河间王司马颙部将张方挟逼晋惠帝迁都长安。次年（305年），将领王浚和范阳王司马虓等即推举东海王司马越为盟主，起兵到长安要迎惠帝还都洛阳。刘乔本来亦响应，但及后司马越则承制任命刘乔为安北将军，改任冀州刺史，原职豫州刺史则改由司马虓担任，刘乔因这任命不是晋惠帝亲自下的命令而不接受，更起兵反抗，攻击司马虓的据点许昌。司马虓不敌刘乔等军，唯