载初元年（690年），籍贯高州良德霞洞堡（今广东电白霞洞镇）人，远祖为冯业、高祖父冯宝、高祖母冼夫人、曾祖冯盎、祖父冯智玳、父为冯君衡，曾任潘州刺史。母为隋朝名将麦铁杖曾孙女，岭南名相张九龄是其远房亲戚（麦铁杖外玄孙谭诲是张九龄岳父）。他幼年时入宫，由高延福收为养子，遂改名高力士，受到当时女皇帝武则天的赏识。在唐玄宗管治期间，其地位达到顶点，由于曾助唐玄宗平定韦皇后和太平公主之乱，故深得玄宗宠信，终于累官至骠骑大将军、进开府仪同三司。高力士自青年时开始追随李隆基，一生曾多次平息皇室内出现的纠纷。天宝年间