吉房子孫の来島村上氏(のち来島氏・久留島氏)は、6代約160年にわたって来島城を本拠地とした(戦時の防衛拠点としての居城であり、平時の居館は対岸の波方浦に存在した)。