图离间刘琨及匹磾，不但厚礼刘羣，又让刘羣写信给刘琨，表达他愿以刘琨为幽州刺史，请其与己结盟共攻匹磾的意愿。信件遭段匹磾巡逻骑兵截获，匹磾向来敬重刘琨，故仍没有加害刘琨之意，还特地将信件展示给全不知情的刘琨知道，刘琨亦表示不会因为儿子而背叛他。不过匹磾弟段叔军却对匹磾说：「吾胡夷耳，所以能服晋人者，畏吾众也。今我骨肉构祸，是其良图之日，若有奉琨而起，吾族尽矣。」匹磾听后改变主意，将刘琨拘留了。刘琨被拘令远近都愤恨慨叹，刘琨庶长子刘遵与刘琨左长史杨桥及并州治中如绥；以及雁门太守王据、后将军韩据、代郡太守辟闾嵩先