Sin embargo, durante esta etapa se comenzó a deteriorar la relación con su hermano Yoritomo.