赏识而被任命为其参军。咸宁五年（279年），晋武帝司马炎发动晋灭吴之战，王戎期间命刘乔与罗尚一同越过长江攻打重镇武昌，攻破后数月，吴主孙皓出降，刘乔回来后获任命为荥阳县令，后迁太子洗马。永平元年（291年），刘乔因诛除杨骏之功而赐爵关中侯，官拜尚书右丞。永康元年（300年），刘乔又人协力诛除贾谧等贾氏集团，获封安众男，迁散骑常侍。刘乔及后迁任御史中丞，当时执政的齐王司马冏宠信心腹董艾，刘乔却不像百官那样害怕他，反倒上表六项罪名弹劾董艾，最终遭董艾中伤而被贬官，降为屯骑校尉。太安二年（303年），义阳蛮张