回到五部后就称大单于，刘聪亦改拜鹿蠡王。刘渊聚众自立，同年即称汉王，建立汉国。后来任命刘聪为抚军将军。元熙五年（晋永嘉二年，308年），刘聪被派遣南据太行山。同年年末刘渊称帝，刘聪升任车骑大将军。不久封楚王。次年与王弥和石勒等进攻壶关，击败司马越派去抵抗的施融和曹超，攻破屯留和长子，令上党太守庞淳献壶关投降。数月后又领兵攻洛阳，击败平北将军曹武，长驱直进至宜阳。但刘聪因连番胜利而轻敌，被诈降的弘农太守垣延率兵乘夜偷袭刘聪，最终刘聪大败而还。两月后刘聪再与王弥、刘曜、唿延翼等进攻洛阳。晋室以为汉国