五日后，刘曜等便攻入洛阳大肆抢掠和杀害大臣，并掳晋怀帝等人，将他们送到平阳（今山西临汾市）。史称「永嘉之乱」。当时王弥认为洛阳城池和宫室都完好，建议刘曜向刘聪建议迁都洛阳，但刘曜认为天下未定而洛阳四面受敌，并不可守，于是焚毁洛阳宫殿。永嘉之乱后，镇守长安的南阳王司马模命牙门赵染领兵在蒲坂（今山西省永济市）守备，但赵染因请求冯翊太守一职被拒绝而投降汉国，刘聪于是在八月命赵染攻取长安，又命刘曜和刘粲领兵跟随。司马模兵败投降，并于九月被刘粲所杀，刘曜则获任命为车骑大将军、雍州牧，并改封中山王，镇守长安。刘