琨在拓跋部作为人质的儿子刘遵同箕澹等率3万余人投奔刘琨。建兴四年（316年）石勒出兵进攻并州，刘琨不听箕澹劝阻全军尽出，中了埋伏大败，丢了并州，只身投奔鲜卑首领、晋朝幽州刺史段匹磾。同年，刘曜攻破长安，西晋灭亡，晋愍帝被俘。刘琨令其外甥长史温峤劝进晋元帝，次年元帝封刘琨为侍中、太尉。建武元年（317年），段匹磾封刘琨为大都督，率段部鲜卑的军队讨伐石勒，因石勒派人贿赂段匹磾堂弟段末杯造成段部鲜卑内部不和而流产。太兴元年（318年），段部鲜卑内斗，段末杯击败段匹磾自任单于。段末杯俘虏了刘琨的儿子刘群