在格杀杨国忠后，又将矛头指向杨贵妃，陈玄礼等请求赐死杨贵妃。玄宗最初不肯，高力士说服玄宗，将杨贵妃领至佛堂自缢。唐玄宗退为太上皇后，继位的唐肃宗与玄宗不睦，而当权的宦官李辅国开始弄权，对玄宗多有不敬。高力士护主心切，为救玄宗竟挺身当众呵斥李辅国，为李辅国所恶，因此被弹劾流放至巫州（今湖南黔阳西南）。按律高力士本该斩首，但顾及高力士对玄宗的忠心，于是将他流放。高力士行至巫州，见其地荠菜多而人不食，感伤不已而歌咏道：“两京作斤卖，五溪无人采。夷夏虽不同，气味终不改。”宝应元年（762年）玄宗在郁闷中驾崩