四载（755年），安禄山在范阳叛乱并迅速南进，攻陷唐朝东都洛阳，建立大燕。哥舒翰奉命前往潼关阻击，却在十六载（756年）战败，唐玄宗只得弃长安逃往成都。但太子李亨没有随驾，而是逃往灵武称帝，即唐肃宗，唐玄宗后来也予以认可。当哥舒翰战败时，吕諲仍在他帐下，至德元载（756年）七月也骑马西逃到灵武行在。在宦官中人尉朱光辉和李遵骤推荐下，肃宗召见了吕諲，欣赏他有才，超拜他为御史中丞，对他的进奏无不允准。吕諲与逃奔灵武的奉先令崔器关系好，引为御史中丞兼户部侍郎。二载（757年），肃宗移驾凤翔府，任吕諲为武部侍郎，允