長兄の義顕は父に先立ち戦死し、次兄・義興の生母が上野国一宮抜鉾神社神主の娘と身分が低かったため、義宗が嫡子として扱われる。