南北朝時代に入ると伊豆国から本宗家の伊東祐重が下向して都於郡城に入り、木脇氏の婿になったため、木脇氏の領域は本宗家に継承され、伊東氏繁栄の基礎となった。