島全体に中世の城址が12ヶ所存在するが、これらは大崎衆のもの、あるいは安芸小早川氏と村上水軍などの伊予河野氏系海賊衆との縄張り争いの中で造られたものと推定されている。