Víctima de las turbulencias políticas de su época, se vio obligado a abandonar la capital junto con toda la corte, cuando los Heike se vieron acosados por sus rivales del clan Genji (Minamoto).