辅国疑太上皇左右有复辟阴谋，上元元年（760年）迫太上皇迁居西内太极宫，而玄宗亲信高力士等人则被贬谪或罢官。宝应元年（762年），玄宗忧郁而死。此时肃宗也病危，张皇后欲谋杀太子李豫而立越王李系，发宦官数百人，控制宫闱。李辅国获知此事，命宦官程元振先取太子同行，并发动禁军殿前射生手攻入宫内，捕杀张皇后、越王，待肃宗驾崩，立太子李豫为帝（即唐代宗）。自此辅国日益骄横，曾对代宗说：“大家（皇帝的俗称）但内里坐，外事听老奴处置。”闻此僭君之言，代宗不快，决意将辅国翦灭，代宗表面优待辅国，尊之为「尚父