Después de las guerras Genpei, el nuevo shōgun Minamoto no Yoritomo le recompensa haciéndole daimyō del castillo de Tottori, pero acaba perdiendo esta posición después de ser derrotado por Kagetoki Kajiwara en una competición de caza.