时代属于摄津国，在7世纪以前原本为旧三岛郡的一部分，在701年制定大宝律令后，三岛郡被拆分为三岛上郡和三岛下郡，三岛上郡后来则成为岛上郡，但在17世纪时也曾被称为芥川郡。在江户时代大部分区域为领地，另有少部分区域属于幕府直属、旗本、和公家领地。明治维新后，郡内的幕府领地和旗本领地先后被划为大坂裁判所司农局、大坂府司农局、大坂府北司农局、摄津县、丰崎县、兵库县的辖区，而其他原属各藩的领地在1871年实施废藩置县后也分别被划为由藩改设立的高槻县、加纳县；不过在仅半年后的第一次府县整併中，岛上郡的全部区域