En 1508, un "shugo" líder del clan Ōuchi conspiró junto con uno de los hijos de Masamoto para traer a Yoshitane nuevamente al poder, por lo que Yoshizumi fue removido.