目之子却求官？”元载因此很恨李揆。唐代宗（即李俶，当时已改名李豫）年间，元载为权相，奏李揆为试秘书监，命他在江淮养病。李揆缺乏俸禄，也没有积蓄，家里一百口人穷得要讨饭。各州地方官都讨厌他，他在各州之间流转。直至大历十二年（777年）元载伏诛，李揆才被任为睦州刺史。
唐德宗年间.十四年（779年）五月，代宗崩，子李适继位，即唐德宗。六月，以李揆为国子祭酒，留司东都洛阳。建中四年（783年）七月，以李揆为礼部侍郎，复爵。又用为礼部尚书。李揆因有才望，为权相卢杞所恶。吐蕃使者区颊赞到长安