父母都遇害。建兴元年（313年），晋愍帝继位，封刘琨大将军、都督并州诸军事。此时石勒在晋阳的东南襄国（今河北邢台）拥兵割据，势力日盛。他修书刘琨假意降晋，出兵消灭与刘琨有矛盾的王浚，而刘琨作壁上观。建兴三年（315年）前赵刘曜击败刘琨，但因要攻打长安回兵。刘琨被晋愍帝封为司空、都督并冀幽诸军事。刘琨辞去司空，受都督。拓跋猗卢被其儿子拓跋六修杀死。猗卢的兄弟拓跋普根杀六修平乱数月后病死，刘琨在拓跋部作为人质的儿子刘遵同箕澹等率3万余人投奔刘琨。建兴四年（316年）石勒出兵进攻并州，刘琨不听箕澹劝阻