怕汉国军而不敢进逼，刘曜于是成功攻陷长安外城，逼得麴允和索綝只好据守城内小城。终于在十一月，因为城内被围困三个月而食粮严重困乏，晋愍帝被逼向刘曜投降。刘曜受降并于随后迁晋愍帝和众官员到平阳，西晋正式灭亡。刘曜因此功而获任命以假黄钺、大都督、督陕西诸军事、太宰。并被改封为秦王，再度镇守长安。麒嘉三年（晋太兴元年，318年），刘聪患病，征召刘曜为丞相，录尚书事，与石勒一同受遗诏辅政。但刘曜和石勒都辞让。刘聪于是任命刘曜为丞相、领雍州牧。同年刘聪死，太子刘粲登位。八月升刘曜为相国、都督中外诸军事，仍旧镇守长安