直到江户时代先后成为丰臣氏和江户幕府的天领，1830年后部分地区又成为德川家亲藩津山藩的领地。在江户时代以前，现在的小豆郡辖区并非单独设置为一个郡，而这个地区是直接称为「小豆岛」地区，此地区在明治维新后，小豆岛先后隶属仓敷县（现已被拆分併入冈山县和广岛县）、津山县（现已被合併为冈山县的一部分）、丸龟县（现已被合併为香川县的一部分）、北条县（现已被合併为冈山县的一部分）、名东县（现已被拆分成为德岛县、香川县，并有部分地区被併入兵库县）、爱媛县，最终属于现在的香川县。但直到1878年7月22日实施郡区町村编