出纳诏命的宦官马上言（或作马尚言）关系亲密。有人为了当蓝田尉而行贿马上言，吕諲在马上言要求下就补那人为蓝田尉。五月，事发，肃宗震怒，笞杀马上言，让其从官分食其肉。吕諲没有被杀，但被罢相，贬为太子李豫的宾客。
拜相后.七月，授吕諲荆州大都督府长史、兼御史大夫，充澧、朗、忠、硖五州节度观察处置等使。八月，他刚到荆州，便请求肃宗将军部江陵改成府并定为南都。九月，肃宗同意了，于是升江陵为江陵府，以吕諲为府尹。在吕諲要求下，他还派置永平军团练兵三千驻守江陵，以遏吴、蜀之冲，防当地发生叛乱。因