为国子祭酒，留司东都洛阳。建中四年（783年）七月，以李揆为礼部侍郎，复爵。又用为礼部尚书。李揆因有才望，为权相卢杞所恶。吐蕃使者区颊赞到长安与唐朝商谈重新划分边境的和约，和约达成后，卢杞担心李揆复为德宗所用，教唆德宗任李揆充入蕃会盟使送区颊赞归国，加御史大夫，拜尚书左仆射。李揆当时七十三岁，对德宗说：“臣不害怕远行，但怕死在道路上，不能完成使命。”德宗恻然，对卢杞说：“李揆太老了！”卢杞答：“出使远方夷族的必须是熟悉朝廷事的。一旦李揆成行，从此比他年轻的官员就不敢推辞出使远方之命了。”天下无不为李揆遭排挤