名起兵，与张泓旧将李丰一同攻向邺城，并州刺史司马腾最终不能抵抗、轻骑逃走、在路上被李丰杀害。三个月后苟晞才来到解救邺城，驱走汲桑等。光熙元年九月，司马越为了扩张势力，派刘琨出任并州（今山西东部、河北西部）刺史、加振威将军、领护匈奴中郎将。在此两年前匈奴王刘渊趁八王之乱已在并州起兵建立“汉”政权，后改称“赵”，史称前赵。刘琨带领一千余人辗转离开首都洛阳，春天到达晋阳（今山西太原）。当时的晋阳经历战乱，已成一座空城。刘琨在左右强敌环俟的环境下安抚流民，发展生产，加强防御。不到一年晋阳就恢复了生气，成了东晋在匈奴