母都知道刘琨不能成事且必然殃及自己。令狐泥投奔刘聪，具言刘琨虚实。刘聪大喜，以令狐泥为向导，正好上党太守袭醇也投降刘聪，雁门乌丸复反，刘琨亲率精兵出战，于是刘聪遣子刘粲及令狐泥乘虚袭晋阳，太原太守高乔以郡投降，刘琨父母都遇害。建兴元年（313年），晋愍帝继位，封刘琨大将军、都督并州诸军事。此时石勒在晋阳的东南襄国（今河北邢台）拥兵割据，势力日盛。他修书刘琨假意降晋，出兵消灭与刘琨有矛盾的王浚，而刘琨作壁上观。建兴三年（315年）前赵刘曜击败刘琨，但因要攻打长安回兵。刘琨被晋愍帝封为司空、都督并冀幽诸