南单于左厢十二姓，贞观初年，其曾祖父阿跌贺之从河曲灵武一带内迁，归附唐朝，被唐太宗授为鸡田州刺史。父亲阿跌良臣，开府仪同三司、鸡田州刺史、充朔方先锋左助兵马使。他少年时与弟弟李光颜随姐夫李奉国（舍利葛旃）投靠辛云京，定居太原。作战以勇敢着称。随马燧平定李惟岳、田悦之乱，屡立战功。至德中任左右军牙门将、兼御史大夫、代州刺史，封范阳郡公，食邑二百户。元和四年（809年），王承宗叛乱，他随范希朝救援易定。元和六年（811年），检校工部尚书，充单于都护府大都护、振武节度使，元和八年秋（813年），改任灵武节度使，进