強い同盟関係にあった両氏であるが、今川了俊の下向に伴い、島津氏久が事情(水島の変)により離反すると、その命により島津氏と対峙することになるのであるが、この際、どうやら了俊は功績のあった方に日向守護職の地位を与えるかのような風を装い、競争をさせることで早期の鎮圧を狙ったようだ。(伊東家は日向介、土持家は日向守護代の流れを汲む。上下関係は定めがたい。)なお、この時点で瓜生野土持氏は姓を瓜生野と改めている上に伊東氏に下っている事が解っている。確かに功を奏し、日向は一度は平穏を取り戻した。しかし競争関係を持たされた両氏の関係は冷却化し、同時に伊東祐堯が同族を討伐し集権化・勢力を伸張し出したことにより、徐々に険悪化。惣領である縣土持氏は井上城・西階城・松尾城と次々に城を築き、縣地方で勢力を固めこれに対抗した。土持氏全体としても伊東祐堯に一門の子を養子として送り込む事などを目指したが失敗している。系譜.凡例太線は実子、細線・矢印は養子。宣綱(栄妙)惟綱長綱秀綱光綱弘綱友綱諸綱助綱国綱国栄直綱助綱宗綱久綱時栄┌─頼宣貞綱・朝綱栄勝頼宣信弘清綱・興綱貞綱(元綱)秋綱栄綱・金綱高綱昌綱全宣・高綱是綱用綱?宣綱・貞綱長綱?・全繁常綱秋綱弘綱・為綱忠綱・定綱常綱親栄栄貴重綱・豊綱政綱貞綱親佐栄続(元綱)重長興綱栄綱若狭基綱親成元綱高綱(久綱)頼綱禰寝尊重利綱宗綱昌綱右衛門豊綱