（760年）七月，兴王李佋薨，肃宗追赠其为恭懿太子，诏李揆持节册命。李揆与颜真卿兄正议大夫、行国子司业、上柱国、金乡县开国男颜允南有莫逆之交。李揆为相虽然有能力和决断，却耽于名利，招致非议。他以才能自矜，忌妒贤能，嫉妒与他同修国史的工部侍郎于休烈，奏为国子祭酒，权留史馆修撰，以打压之。其兄李皆（《新唐书》本传作李楷）也有能力，但在李揆为相任内却停留在冗职不得升迁。吕諲在上元元年五月被罢相出任荆南节度使，赢得佳声。李揆与吕諲共事期间不合，担心吕諲回京再度拜相，上表弹劾新近建议将八州划归荆南的吕