義高は信濃の名族の子弟である海野幸氏や望月重隆らを伴い、頼朝の長女・大姫の婿という名目で鎌倉へ下った(なお、義高と大姫は又従兄妹にあたる)。