三岛下郡，三岛上郡后来则成为岛上郡，但在17世纪时也曾被称为芥川郡。在江户时代大部分区域为领地，另有少部分区域属于幕府直属、旗本、和公家领地。明治维新后，郡内的幕府领地和旗本领地先后被划为大坂裁判所司农局、大坂府司农局、大坂府北司农局、摄津县、丰崎县、兵库县的辖区，而其他原属各藩的领地在1871年实施废藩置县后也分别被划为由藩改设立的高槻县、加纳县；不过在仅半年后的第一次府县整併中，岛上郡的全部区域又被整併隶属于大坂府。1879年实施，正式的设置了近代的行政区划「岛上郡」，最初郡役所设于高槻村的