En 1181, Yoshinaka vio la oportunidad de recobrar los dominios que habían pertenecido a su padre, los cuales ahora estaban bajo el control de Minamoto no Yoritomo.