匈奴王刘渊趁八王之乱已在并州起兵建立“汉”政权，后改称“赵”，史称前赵。刘琨带领一千余人辗转离开首都洛阳，春天到达晋阳（今山西太原）。当时的晋阳经历战乱，已成一座空城。刘琨在左右强敌环俟的环境下安抚流民，发展生产，加强防御。不到一年晋阳就恢复了生气，成了东晋在匈奴敌后的少数几个割据政权之一。当时的晋阳南面是强大的匈奴前赵，北面是正在崛起试图染指中原的拓跋鲜卑的代国，东面是和段部鲜卑结盟的幽州刺史王浚。刘琨和拓跋鲜卑首领拓跋猗卢结为兄弟，和前赵石勒等大将的战斗互有胜负。刘琨吸引了许多志愿抗击匈奴、羯人