渊为北单于，派遣回并州刺史部的平阳郡调发匈奴五部为援。刘渊返回并州离石，众人共推刘渊为大单于，并聚集五万之众。刘渊得知王浚军队已攻破邺城，司马颖南逃洛阳。刘渊还想遵守先前承诺帮助司马颖，刘宣等劝说刘渊起兵反晋。十月，刘渊从离石迁于左国城，称汉王，改年号为元熙，置百官，大赦境内，并以复汉为名义，正式建立政权。
建立国家.汉元熙元年（304年）十二月，晋并州刺史司马腾遣兵攻汉，双方大战于大陵（今山西省文水北），刘渊大胜，并遣刘曜等攻取上党、太原、西河各郡县。当时在青、徐二州的王弥，魏郡