，李揆不快，担心他再入相，声称湖南不需要士兵，建议解散吕諲手下的军队，还派人来刺探吕諲的过错。吕諲上奏肃宗为自己辩解并弹劾李揆。最后李揆被罢相贬为袁州长史。奏于灌阳县故城复置其县。吕諲的前任荆州长史张惟一也是防御使，被属下司马陈希昂威胁。陈希昂是衡州蛮酋，有私军千人，把衡州当作自己的私人封地来管治。一次，他因和张惟一亲将牟遂金不和，率部卒闯入张惟一的官邸，要他下令处决牟遂金。张惟一出于恐惧下令处决了牟遂金，从此陈希昂掌控了荆州军政。吕諲到任后，先讨好陈希昂，上表荐举他去长安为侍御史，出为常州刺史、本