8年），刘聪患病，征召刘曜为丞相，录尚书事，与石勒一同受遗诏辅政。但刘曜和石勒都辞让。刘聪于是任命刘曜为丞相、领雍州牧。同年刘聪死，太子刘粲登位。八月升刘曜为相国、都督中外诸军事，仍旧镇守长安。但当月大将军靳准就叛变，杀害刘粲和大杀刘氏，并自称汉天王，向东晋称藩。刘曜知道靳准作乱，于是进兵平阳。
平乱称帝.十月，刘曜进佔赤壁（今山西河津县西北赤石川），太保唿延晏等人从平阳前来归附，并兴早前因靳准诛杀王公而逃至长安的太傅朱纪等共推刘曜为帝。刘曜称帝后，派征北将军刘雅和镇北将军刘策进屯