米良矩重
その後、天正4年(1576年)8月23日に、同じ伊東家の長倉祐政が治める高原城が島津軍の手に落ちると、その翌日に所領安堵を条件に島津方に寝返る。これにより小林城と須木城は島津氏の支配下に入った。高原落城とそれと連動した矩重の寝返りが引き金となり、伊東家は一時的に衰退し始めていった。
島津に寝返った際に、須木地頭には宮原景種が任命されたが、その後 宮原が肥後国佐敷の地頭になると、今度は島津配下として須木地頭に任じられる。
義祐の三男・伊東祐兵が天正15年(1587年)に豊臣近世大名として飫肥城などの旧領を回復すると、島津家を無断で出奔、祐兵の前にまかり出てこれまでの非を謝罪し切腹を申し出るが、罪を許されて再び伊東氏の家臣となる。伊東祐慶の代になると、清武の地頭に任じられたが、程なく病死した。
矩重の嫡男・勘之助は矩重の遺言を守り、祐慶が亡くなると殉死を遂げた。嫡子・米良勘之助の墓は、日南市楠原の日南市指定文化財「伊東家累代廟所」内に今も残る。