晋阳的东南襄国（今河北邢台）拥兵割据，势力日盛。他修书刘琨假意降晋，出兵消灭与刘琨有矛盾的王浚，而刘琨作壁上观。建兴三年（315年）前赵刘曜击败刘琨，但因要攻打长安回兵。刘琨被晋愍帝封为司空、都督并冀幽诸军事。刘琨辞去司空，受都督。拓跋猗卢被其儿子拓跋六修杀死。猗卢的兄弟拓跋普根杀六修平乱数月后病死，刘琨在拓跋部作为人质的儿子刘遵同箕澹等率3万余人投奔刘琨。建兴四年（316年）石勒出兵进攻并州，刘琨不听箕澹劝阻全军尽出，中了埋伏大败，丢了并州，只身投奔鲜卑首领、晋朝幽州刺史段匹磾。同年，刘曜攻破长安