Fue el segundo hijo del primer shōgun Minamoto no Yoritomo y de Hōjō Masako; su hermano mayor era el segundo shōgun Minamoto no Yoriie.