しかし、元亀4年（1573年）、島津氏方の北郷時久と戦って敗れたうえ、伊地知重興・禰寝重良などが相次いで離反して島津氏に降ったため、これまで互角以上に渡り合った島津氏との立場は一変、天正2年（1574年）、島津氏に従属した。
元龟4年（1573年），与岛津氏方的北乡时久战斗并败北，伊地知重兴、祢寝重良等人相继投向岛津氏，于是改变与岛津氏争斗的立场，天正2年（1574年），从属于岛津氏。