东晋在匈奴敌后的少数几个割据政权之一。当时的晋阳南面是强大的匈奴前赵，北面是正在崛起试图染指中原的拓跋鲜卑的代国，东面是和段部鲜卑结盟的幽州刺史王浚。刘琨和拓跋鲜卑首领拓跋猗卢结为兄弟，和前赵石勒等大将的战斗互有胜负。刘琨吸引了许多志愿抗击匈奴、羯人的志士，但他的政治军事才能也使不少人离去。一个叫徐润的河南人因为懂得音律得到刘琨的重用，此人无能而飞扬跋扈。奋威将军令狐盛进言要刘琨除去徐润，反被徐润诬杀，造成其子令狐泥等人的反叛，连刘琨母都知道刘琨不能成事且必然殃及自己。令狐泥投奔刘聪，具言刘琨虚实。