人则被贬谪或罢官。宝应元年（762年），玄宗忧郁而死。此时肃宗也病危，张皇后欲谋杀太子李豫而立越王李系，发宦官数百人，控制宫闱。李辅国获知此事，命宦官程元振先取太子同行，并发动禁军殿前射生手攻入宫内，捕杀张皇后、越王，待肃宗驾崩，立太子李豫为帝（即唐代宗）。自此辅国日益骄横，曾对代宗说：“大家（皇帝的俗称）但内里坐，外事听老奴处置。”闻此僭君之言，代宗不快，决意将辅国翦灭，代宗表面优待辅国，尊之为「尚父」，封司空兼中书令，私下通联宦官程元振，以药子昂代元帅府行军司马，掌握禁军，夺兵权。罢辅国