劉淵
10月、劉淵は再び洛陽攻略の軍を起こすと、劉聡・王弥・劉曜・劉景らに精騎兵5万を与えて出撃させ、大司空呼延翼に歩兵を与えて後続させた。劉聡らは河南で晋軍を打ち破ると、宜陽から西明門へ進んだ。西晋の護軍賈胤や北宮純らは宵闇に乗じ、勇士千人余りを率いて漢軍の陣営を夜襲し、征虜将軍呼延顥を討ち取った。そのため、劉聡は南へ軍を戻して洛水に陣営を築いたが、呼延翼が部下の反逆により殺されるとその軍は総崩れとなり、大陽より敗走してしまった。劉淵は劉聡らへ勅書を送って帰還を命じたが、劉聡は晋軍の脆弱さを主張し、呼延顥・呼延翼が戦死した程度で退却するべきではないと攻撃続行を固く要請したので、劉淵はこれを許した。しかし劉聡の軍は指揮官自らが偵察に向かい、本陣を空にした隙を狙われて大敗を喫したため、劉淵は軍を帰還させた。劉聡が平陽へ戻ると、大司徒に任じられた。
司馬衷の時代、元康元年(291年)に起こった楊駿誅殺を皮切りに、八王の乱と呼ばれる皇族同士の大規模な内乱が勃発した。これに呼応して各地でも反乱が勃発し、強盗略奪も横行するようになった。この内乱において劉淵は司馬穎の派閥に属し、徐々に官位を上げていった。この動乱に際して劉淵の従祖父である右賢王劉宣らは、劉淵を大単于に推戴して晋朝からの部族の自立を企んだ。この計画を伝えられた劉淵は、葬儀を理由に故郷に帰ることを求めたが、司馬穎はこれを許さなかった。そのため劉淵は使者を通じて、五部匈奴と宜陽に割拠する諸々の胡族を集結させるよう劉宣に伝えた。
永安元年(304年)7月、司馬穎の専横に不満を抱いた都督幽州諸軍事の王浚・并州刺史の司馬騰らが司馬穎打倒の挙兵を行うと、劉淵は王浚・司馬騰討伐への参加を申し出、北単于・参丞相軍事に任じられて并州へ帰ることを許可された。かくして劉淵は匈奴の根拠地である左国城(現在の山西省呂梁市離石区の北東)に到着して劉宣らと無事に合流を果たし、彼らより上大単于の称号を授かった。
遡って永鳳2年(309年)3月、西晋の左積弩将軍朱誕が漢へ亡命してきた。彼は劉淵へ向け、西晋の都である洛陽がいかに脆弱であるかを語り、これを攻め取るよう勧めた。そこで劉淵は洛陽に狙いを定めると、朱誕を前鋒都督に、滅晋将軍劉景を大都督に任じ、彼らをまず黎陽へ侵攻させた。劉景らは黎陽へ侵攻するとこれを陥落させ、さらに延津へ進撃して王堪を撃ち破った。
さらに劉淵は王弥を侍中・都督青徐兗豫荊揚六州諸軍事・征東大將軍・青州牧に任じ、楚王劉聡・前鋒都督石勒と共に壷関へ侵攻させた。西晋の并州刺史劉琨は護軍黄粛・韓述を救援の為に派遣したが、劉聡は西澗において韓述を破り、石勒は封田において黄粛を破り、いずれもその首級を挙げた。太傅司馬越は淮南内史王曠・将軍施融・曹超を派遣して劉聡軍を防がせた。王曠は太行を越えた所で漢軍と遭遇し、両軍は長平において交戦した。劉聡・王弥らはこれを破って王曠を撃退し、施融・曹超を戦死させた。