正巧任匈奴左部帅的父亲刘豹于当时逝世，刘渊于是回到并州接替父亲左部帅之位。太康末年刘渊官拜北部都尉。刘渊在当地申明刑法，禁止奸邪恶行，而且诚心与人交往，于是匈奴五部中的俊才都投归刘渊，连幽州和冀州的名儒和寒门秀士都前来与他结交。永熙元年（290年），晋惠帝司马衷继位，由外戚杨骏辅政。杨骏为了拉拢远人，树立私恩，便任命刘渊为建威将军、五部大都督，封汉光乡侯。但至元康末年刘渊便因部下族人叛变出塞而免官。不久成都王司马颖出镇邺城（今河北临漳县西南），为拉拢刘渊而表他行宁朔将军、监五部军事，并召他至邺城。Se