木脇氏は、鎌倉時代に伊東祐頼が日向国諸県郡木脇を領して木脇姓を名乗ったことが始まりで、その子・祐広の時代には日向に定着し諸県郡を拠点に勢力を伸ばしていた。