郡辖区并非单独设置为一个郡，而这个地区是直接称为「小豆岛」地区，此地区在明治维新后，小豆岛先后隶属仓敷县（现已被拆分併入冈山县和广岛县）、津山县（现已被合併为冈山县的一部分）、丸龟县（现已被合併为香川县的一部分）、北条县（现已被合併为冈山县的一部分）、名东县（现已被拆分成为德岛县、香川县，并有部分地区被併入兵库县）、爱媛县，最终属于现在的香川县。但直到1878年7月22日实施郡区町村编制法后，才正式设置小豆郡。