两岛共同围绕一内海，并具有良好的港口，因此岛上主要聚落都位于此侧。而位于北面的外海侧几乎都维海蚀断崖，因此聚落较少，仅西北有一个聚落。由于主要鱼场位于外海侧，而港口都位于内海侧，因此1915年在岛上当时两村的分界处中央部分开凿了一条长度约360公尺的运河，让内海侧的渔船可以直接前往渔场，无须再绕行岛屿一圈。
交通.岛外交通依靠所经营的渡轮往返松江市，单程约需2.5小时~3小时。而岛内公共交通则由经营。2005年4月23日，西之岛大桥开通。