但1570年起通总开始侵佔室町幕府发给主君河野通宣的公用钱，来岛氏出现了脱离河野氏的苗头。由于河野氏与毛利氏有同盟关系，因此在大友宗麟攻击河野氏的时候毛利氏出兵援助，与大友水军作战。然而在海战中通总与毛利水军的村上武吉不和。1582年，来岛通总受到织田信长手下重臣羽柴秀吉（即后来的丰臣秀吉）的劝诱，投靠了秀吉，因此遭到毛利氏、河野氏联军进攻，通总失去领地投奔秀吉。同时由于兄长得居通幸在攻取鹿儿岛城的战役中立下战功，且当时秀吉与毛利氏达成和解，处在秀吉麾下的通总遂回到了自己的旧领地，改「村上氏」为「来岛氏