未及救援，终令晋阳陷落，此时刘粲留卢谌为参军，而卢志和其他家属都被送至汉国都城平阳。不久，刘琨在拓跋猗卢的军事协助之下成功反击晋阳，刘粲败走，而卢谌则乘机投奔移治阳曲的刘琨，然而此举令包括卢志在内被移至平阳的家属都被杀。建兴三年（315年），刘琨升任司空，以卢谌为主簿，后转从事中郎。由于刘琨妻就是卢谌的姨母，于是刘琨亲近和喜爱他，亦重视他的才能和门第地位。建兴四年（316年），刘琨失并州，被逼到蓟城投靠段部鲜卑领导之一、幽州刺史段匹磾，卢谌亦跟随，并被段匹磾任用为幽州别驾。太兴元年（318年），段匹