智玳、父为冯君衡，曾任潘州刺史。母为隋朝名将麦铁杖曾孙女，岭南名相张九龄是其远房亲戚（麦铁杖外玄孙谭诲是张九龄岳父）。他幼年时入宫，由高延福收为养子，遂改名高力士，受到当时女皇帝武则天的赏识。在唐玄宗管治期间，其地位达到顶点，由于曾助唐玄宗平定韦皇后和太平公主之乱，故深得玄宗宠信，终于累官至骠骑大将军、进开府仪同三司。高力士自青年时开始追随李隆基，一生曾多次平息皇室内出现的纠纷。天宝年间曾多次提醒唐玄宗避免怠政，反对唐玄宗假朝政予李林甫、杨国忠，亦曾清楚地预见安禄山将要造反的隐患，可惜玄宗并未从善如流。