及长沙王司马乂先后以军事力量上台掌权，司马伦更曾篡位称帝，天下大乱，盗贼蜂起。刘渊叔祖父刘宣见此，决心乘着西晋朝政混乱振兴匈奴，于是秘密与族人推举刘渊为大单于，又派遣唿延攸到邺城通知刘渊。刘渊向司马颖请归不果，于是派唿延攸先回并州，命刘宣召集五部匈奴和在宜阳的一众胡人，名为支持司马颖，实质上却图谋叛变。永安元年（304年）司马颖击败司马乂，成为皇太弟，任命刘渊为屯骑校尉。不久东海王司马越和陈昣等与惠帝征讨司马颖，司马颖又任命刘渊为辅国将军、督北城守事。及至惠帝兵败荡阴（今河南汤阴县）被俘至邺城，司马颖再