，待肃宗驾崩，立太子李豫为帝（即唐代宗）。自此辅国日益骄横，曾对代宗说：“大家（皇帝的俗称）但内里坐，外事听老奴处置。”闻此僭君之言，代宗不快，决意将辅国翦灭，代宗表面优待辅国，尊之为「尚父」，封司空兼中书令，私下通联宦官程元振，以药子昂代元帅府行军司马，掌握禁军，夺兵权。罢辅国官职，进封为博陆郡王。不久，代宗在十月丁卯日（11月12日）派人于深夜将其刺杀，割下头颅扔到厕中，斩下一臂不知去向（一说送至玄宗墓前祭祀），遂刻木代其首级以葬，赠太傅，谥丑。