天平宝字8年（764年）9月、上皇との対立を契機に恵美押勝の乱が発生、天皇はこれに加担しなかったものの、仲麻呂の乱が失敗に終り天皇は最大の後見人を失った。乱に加わらなかった理由については、既に上皇側に拘束されていたからだとも、仲麻呂を見限って上皇側との和解を探っていたからだとも言われている（仲麻呂は天皇を連れ出せなかった為、やむなく塩焼王を新天皇に擁立することを企てた）。