強い同盟関係にあった両氏であるが、今川了俊の下向に伴い、島津氏久が事情（水島の変）により離反すると、その命により島津氏と対峙することになるのであるが、この際、どうやら了俊は功績のあった方に日向守護職の地位を与えるかのような風を装い、競争をさせることで早期の鎮圧を狙ったようだ。（伊東家は日向介、土持家は日向守護代の流れを汲む。上下関係は定めがたい。）なお、この時点で瓜生野土持氏は姓を瓜生野と改めている上に伊東氏に下っている事が解っている。
確かに功を奏し、日向は一度は平穏を取り戻した。しかし競争関係を持たされた両氏の関係は冷却化し、同時に伊東祐堯が同族を討伐し集権化・勢力を伸張し出したことにより、徐々に険悪化。惣領である縣土持氏は井上城・西階城・松尾城と次々に城を築き、縣地方で勢力を固めこれに対抗した。土持氏全体としても伊東祐堯に一門の子を養子として送り込む事などを目指したが失敗している。
系譜.
 凡例　太線は実子、細線・矢印は養子。
 　　 　宣綱(栄妙)　
 　　　 惟綱　　　　　　　長綱　　　　　　　秀綱　光綱　弘綱　友綱　諸綱　助綱　
 　　　 国綱　　　　　　　国栄　　　　　　　直綱　助綱　宗綱　久綱
 　　　 時栄　　 ┌─頼宣　　　　貞綱　 　　　 ・ 　朝綱
 　　　 栄勝　頼宣　信弘　　　　清綱　　　　 ・ 　興綱　貞綱（元綱）
 　　　 秋綱　　　　　　　　　　栄綱　　　　 ・　 金綱　高綱　昌綱
 　　　 全宣　　　　　　　　　　　　　　　　 ・　 高綱　是綱　用綱　　　　　　　　　　　　　　　　　　 ?
 　　　 宣綱　　　　　　　　　　　　　　　　 ・　 　　　貞綱　長綱　　　　 ？　　　　　　　　　　　　　・
 全繁　常綱　秋綱　　　　　　　弘綱　 ・　 　　　　　　為綱　忠綱 　・　　　　　　　　　　　　 定綱
 　　　 常綱　親栄　栄貴　　　　　　　重綱　 ・　　　　　　　 豊綱　　　　政綱　　　　　　　　　　　　貞綱
 　　　 　　　親佐　栄続（元綱）　　　重長　興綱　　　　　　　栄綱　　　　若狭　　　　　　　　　　　　基綱
 　　　 親成　元綱　高綱（久綱）　　　　　　頼綱　禰寝尊重　　　　　　　　利綱　　　宗綱　昌綱 右衛門 豊綱