Mientras aun era un niño, su padre Minamoto no Yoshikata, fue asesinado y su dominio pasó bajo control de otra rama familiar.