No obstante, su reinado fue muy débil y era un gobernante títere de la retirada emperatriz; finalmente en 764, el emperador es destronado tras presiones de la emperatriz y ella nuevamente reasciende al trono con el nombre de Emperatriz Shōtoku.