永正16年（1519年）出生。在年幼时期，正冈氏、重见氏等有力国人在府中（现今爱媛县今治市）持续反乱，而在镇压当地势力后，来岛村上氏成为府中方面的最有力者。天文10年（1541年），在伊予国一之宫的大山祇神社被袭撃。受河野氏当主河野通直之命，与得居、平冈、今冈等警固众一同出阵，并得到能岛村上氏的援军，于是与神官大祝氏等人一同撃退大内水军。受通直深厚信任，并成为其女婿。在通直与儿子晴通对立时，投向通直，被选为河野氏的家督继承者，不过因为河野氏家臣团多数支持晴通，于是与通直一同逃到汤筑城。居城被攻撃，不