延攸先回并州，命刘宣召集五部匈奴和在宜阳的一众胡人，名为支持司马颖，实质上却图谋叛变。永安元年（304年）司马颖击败司马乂，成为皇太弟，任命刘渊为屯骑校尉。不久东海王司马越和陈昣等与惠帝征讨司马颖，司马颖又任命刘渊为辅国将军、督北城守事。及至惠帝兵败荡阴（今河南汤阴县）被俘至邺城，司马颖再任命刘渊为冠军将军，封"卢奴伯"。但在荡阴之战后不久，东嬴公司马腾和安北将军王凌等就起兵讨伐司马颖，刘渊趁机向司马颖建议让他回匈奴五部领部众支援司马颖，共同抵抗司马腾和王凌的讨伐部队。司马颖同意并拜刘渊为北单于、参丞相