间.数年后，李揆稍被起用为歙州刺史。当他为相时，侍中苗晋卿曾推荐元载，李揆自恃家世，鄙视出身寒门的元载，不但反对，还对苗晋卿说：“龙章凤姿之士不见用，麞头鼠目之子却求官？”元载因此很恨李揆。唐代宗（即李俶，当时已改名李豫）年间，元载为权相，奏李揆为试秘书监，命他在江淮养病。李揆缺乏俸禄，也没有积蓄，家里一百口人穷得要讨饭。各州地方官都讨厌他，他在各州之间流转。直至大历十二年（777年）元载伏诛，李揆才被任为睦州刺史。
唐德宗年间.十四年（779年）五月，代宗崩，子李适继位，即唐德