后，唐肃宗即位，在上元初年（760年）将他贬到巫州（今湖南黔阳西南），宝应元年（762年）被赦免回京，半路至朗州龙兴寺时，得到玄宗驾崩的消息，哀痛而亡，年73岁。16年后（大历十二年，777年），唐代宗追念高力士侍奉玄宗有功，追赠他为扬州大都督，陪葬玄宗泰陵（今陕西蒲城境）。
生平.生于武则天载初元年（690年），籍贯高州良德霞洞堡（今广东电白霞洞镇）人，远祖为冯业、高祖父冯宝、高祖母冼夫人、曾祖冯盎、祖父冯智玳、父为冯君衡，曾任潘州刺史。母为隋朝名将麦铁杖曾孙女，岭南名相张九龄是