书法而被兵部尚书裴行俭提拔，进入朝廷。后担任「宫苑总监」，在其妻的鼓动下与李隆基等人发动唐隆之变，拥立唐睿宗，睿宗时为中书令、封越国公。为人好恶分明，任意赏罚，得罪了薛稷，睿宗贬之为蜀州刺史，唐隆之变后，睿宗禅让李隆基，是为玄宗，命为户部尚书，迁太子詹事。又得罪姚崇，玄宗将其连贬绵州刺史、琰州尉、温州别驾。唐玄宗后又于心不忍，诏入长安，封太子右谕德，后改少詹事。