然有能力和决断，却耽于名利，招致非议。他以才能自矜，忌妒贤能，嫉妒与他同修国史的工部侍郎于休烈，奏为国子祭酒，权留史馆修撰，以打压之。其兄李皆（《新唐书》本传作李楷）也有能力，但在李揆为相任内却停留在冗职不得升迁。吕諲在上元元年五月被罢相出任荆南节度使，赢得佳声。李揆与吕諲共事期间不合，担心吕諲回京再度拜相，上表弹劾新近建议将八州划归荆南的吕諲有野心，还秘密派人去荆南寻吕諲过失。吕諲奏明肃宗，肃宗不悦，二年（761年）二月，贬当时官爵为银青光禄大夫、行中书待郎、同中书门下平章事、集贤殿崇文馆大学士、