李上金的母亲是宫人杨氏，最初他被封为杞王，之后因为武则天从中作梗，他被外放担任地方官