喻聚淫之艳冶，飞燕一事只可以喻微贱之宫娃，外此皆非所宜言，何三唐诸子初不以此为忌耶？”安史之乱爆发，高力士随玄宗幸蜀，在马嵬驿时，六军不发，士兵在格杀杨国忠后，又将矛头指向杨贵妃，陈玄礼等请求赐死杨贵妃。玄宗最初不肯，高力士说服玄宗，将杨贵妃领至佛堂自缢。唐玄宗退为太上皇后，继位的唐肃宗与玄宗不睦，而当权的宦官李辅国开始弄权，对玄宗多有不敬。高力士护主心切，为救玄宗竟挺身当众呵斥李辅国，为李辅国所恶，因此被弹劾流放至巫州（今湖南黔阳西南）。按律高力士本该斩首，但顾及高力士对玄宗的忠心，于是将他流放。