卢志在内被移至平阳的家属都被杀。建兴三年（315年），刘琨升任司空，以卢谌为主簿，后转从事中郎。由于刘琨妻就是卢谌的姨母，于是刘琨亲近和喜爱他，亦重视他的才能和门第地位。建兴四年（316年），刘琨失并州，被逼到蓟城投靠段部鲜卑领导之一、幽州刺史段匹磾，卢谌亦跟随，并被段匹磾任用为幽州别驾。太兴元年（318年），段匹磾杀害刘琨，卢谌与崔悦等晋人率领刘琨余众投奔段部另一位领导、辽西国的段末柸，以在段末柸那里的刘琨儿子刘羣为主。后段末柸与东晋通使，卢谌透过使者为刘琨申诉，参与促成朝廷为刘琨举哀、赠官和赐谥