江戸時代は男木島、女木島と合わせて「直島3島」と総称され、郡に相当する広域単位としての「小豆島」に属していたが、明治5年（1872年）に分離されて香川郡へ編入された。
在江户时代与男木岛、女木岛合称“直岛3岛”，最早属于吉备国儿岛郡，后被分出改隶属赞岐国，并隶属设置相当于郡级的单位“小豆岛”，直到江户时代末期，1872年被并入香川郡。