奏李揆为试秘书监，命他在江淮养病。李揆缺乏俸禄，也没有积蓄，家里一百口人穷得要讨饭。各州地方官都讨厌他，他在各州之间流转。直至大历十二年（777年）元载伏诛，李揆才被任为睦州刺史。
唐德宗年间.十四年（779年）五月，代宗崩，子李适继位，即唐德宗。六月，以李揆为国子祭酒，留司东都洛阳。建中四年（783年）七月，以李揆为礼部侍郎，复爵。又用为礼部尚书。李揆因有才望，为权相卢杞所恶。吐蕃使者区颊赞到长安与唐朝商谈重新划分边境的和约，和约达成后，卢杞担心李揆复为德宗所用，教唆德宗任李揆充