晰敏捷，又好《老子》、《庄子》，擅长写文章，亦从父学，习钟繇书法。早年曾获选娶荥阳公主，并拜驸马都尉，但未成礼公主就去世。后获举为秀才，被太尉府辟为掾。永嘉五年（311年），汉国军队攻陷西晋首都洛阳，永嘉之乱发生。卢谌在父亲卢志带领下逃离洛阳，打算到并州依靠并州刺史刘琨。但他们在阳邑被汉国将领刘粲所掳。次年，刘粲进攻并州治所晋阳，刘琨外出收兵未及救援，终令晋阳陷落，此时刘粲留卢谌为参军，而卢志和其他家属都被送至汉国都城平阳。不久，刘琨在拓跋猗卢的军事协助之下成功反击晋阳，刘粲败走，而卢谌则乘机投奔移治阳