包括了小豆岛全岛及周边几个小岛。现辖有以下2町：
历史.应神天皇时代属于吉备国儿岛郡的一部分，在吉备国被拆分后，属于备前国。平安时代初期至南北朝时代是日本皇室的御领地。南北朝争乱期间，由细川氏佔领，直到江户时代先后成为丰臣氏和江户幕府的天领，1830年后部分地区又成为德川家亲藩津山藩的领地。在江户时代以前，现在的小豆郡辖区并非单独设置为一个郡，而这个地区是直接称为「小豆岛」地区，此地区在明治维新后，小豆岛先后隶属仓敷县（现已被拆分併入冈山县和广岛县）、津山县（现已被合併