仍指刘渊可能会作乱凉州，武帝因而又否决了建议。当时在洛阳流浪的王弥正要回故乡东莱，与刘渊饯别时，刘渊泣诉被人屡进谗言中伤，恐怕将会在洛阳遇害而不能再见到他。刘渊于是纵酒长啸，同坐的都因他流泪。齐王司马攸见刘渊后，更建议武帝杀刘渊，以免日后回匈奴五部所在的并州后会祸乱当地，但王浑反对。武帝同意王浑所言，最终没有杀刘渊。
接手父众.正巧任匈奴左部帅的父亲刘豹于当时逝世，刘渊于是回到并州接替父亲左部帅之位。太康末年刘渊官拜北部都尉。刘渊在当地申明刑法，禁止奸邪恶行，而且诚心与人交往，于是