人率领刘琨余众投奔段部另一位领导、辽西国的段末柸，以在段末柸那里的刘琨儿子刘羣为主。后段末柸与东晋通使，卢谌透过使者为刘琨申诉，参与促成朝廷为刘琨举哀、赠官和赐谥号。后东晋多次征召卢谌，但段末柸却留着卢谌，令他不能南渡。咸康四年（338年），后赵与慕容皝联手攻灭段部，卢谌被后赵所得，更入仕后赵，先后任中书侍郎、国子祭酒和侍中等职。晋永和五年（349年），后赵皇帝石虎去世，诸子争位，国内大乱。同年石鉴即位，任命卢谌为中书监。冉闵更于永和六年（350年）杀石鉴建立冉魏，当时卢谌亦在冉闵军中，并参与攻打石祗所