刘琨有矛盾的王浚，而刘琨作壁上观。建兴三年（315年）前赵刘曜击败刘琨，但因要攻打长安回兵。刘琨被晋愍帝封为司空、都督并冀幽诸军事。刘琨辞去司空，受都督。拓跋猗卢被其儿子拓跋六修杀死。猗卢的兄弟拓跋普根杀六修平乱数月后病死，刘琨在拓跋部作为人质的儿子刘遵同箕澹等率3万余人投奔刘琨。建兴四年（316年）石勒出兵进攻并州，刘琨不听箕澹劝阻全军尽出，中了埋伏大败，丢了并州，只身投奔鲜卑首领、晋朝幽州刺史段匹磾。同年，刘曜攻破长安，西晋灭亡，晋愍帝被俘。刘琨令其外甥长史温峤劝进晋元帝，次年元帝封刘琨为侍中、