多次征召卢谌，但段末柸却留着卢谌，令他不能南渡。咸康四年（338年），后赵与慕容皝联手攻灭段部，卢谌被后赵所得，更入仕后赵，先后任中书侍郎、国子祭酒和侍中等职。晋永和五年（349年），后赵皇帝石虎去世，诸子争位，国内大乱。同年石鉴即位，任命卢谌为中书监。冉闵更于永和六年（350年）杀石鉴建立冉魏，当时卢谌亦在冉闵军中，并参与攻打石祗所在的襄国。永和七年（351年），冉闵在襄国大败，卢谌在此战中亦身亡，享年六十七岁。卢谌虽然在后赵历任高位，但卢谌却以此为耻，更对诸子说：「我死了以后，头衔只叫晋司空从事中郎