司马颖，刘渊趁机向司马颖建议让他回匈奴五部领部众支援司马颖，共同抵抗司马腾和王凌的讨伐部队。司马颖同意并拜刘渊为北单于、参丞相军事。刘渊回左国城（今山西吕梁市离石区）后，刘宣便为刘渊上大单于称号，二十日之间就聚众五万，定都离石。及后刘渊被司马腾盟友拓跋猗㐌和拓跋猗卢击败，同时司马颖亦因受不住王凌大军的进逼而弃守邺城，带惠帝逃回洛阳。刘渊在刘宣的反对下，最终决定不援救司马颖，迁至左国城（今山西吕梁市离石区东北），又吸引数万人归附。
建汉自立.永兴元年（304年）十一月，刘渊以自己