春秋时期姜姓齐国的后裔。吕諲年少时有大志，好学，但家贫不能自给。同乡富人程楚宾被吕諲的才华打动，相信他将来能出人头地，把女儿嫁给了吕諲，并和儿子程震一起资助他，使他声誉日广，也得以在开元末年游历京城长安。玄宗天宝（742年 - 756年）初年，吕諲中进士，调授宁陵尉。采访使韦陟欣赏吕諲的才华，署任他为支使。天宝十三载（754年）三月，陇右、河西节度使哥舒翰邀请吕諲任度支判官。累兼卫佐、太子通事舍人。在哥舒翰手下，吕諲谨慎而努力地工作，在当时就知道诸将的长处和短处。有时同僚们都出去游赏了，他还在官署复查文