翰手下，吕諲谨慎而努力地工作，在当时就知道诸将的长处和短处。有时同僚们都出去游赏了，他还在官署复查文件。他的勤勉使哥舒翰更喜欢他了。累兼虞部员外郎、殿中侍御史。十四载（755年），安禄山在范阳叛乱并迅速南进，攻陷唐朝东都洛阳，建立大燕。哥舒翰奉命前往潼关阻击，却在十六载（756年）战败，唐玄宗只得弃长安逃往成都。但太子李亨没有随驾，而是逃往灵武称帝，即唐肃宗，唐玄宗后来也予以认可。当哥舒翰战败时，吕諲仍在他帐下，至德元载（756年）七月也骑马西逃到灵武行在。在宦官中人尉朱光辉和李遵骤推荐下，肃宗召见了吕