为宫人，故身份低微。李撝刚刚出生的时候，祖母武则天厌恶之，不令序齿。给僧人万回看，万回曰：“此儿是西域大树之精，养之宜兄弟。”武则天很高兴，始令列于兄弟之次。其父第一次当皇帝时，垂拱三年（687年），封恆王，唐睿宗让位给母亲武则天，李成义改封为衡阳郡王。长安初年，官居尚衣奉御。神龙元年（705年），伯父唐中宗复位，加赐实封二百户，通前五百户，司农少卿，银青光禄大夫。唐睿宗复位，进封申王，迁右卫大将军。景云元年（710年）七月，迁殿中监，兼检校右卫大将军。二年（711年），转光禄卿、右金吾卫大将军。先天元