比郡被分割为丹南郡和丹北郡后属于丹北郡，后来再从丹北郡中被分出独立设置为郡。江户时代大部分区域为馆林藩的领地，仅有东北部一个村为幕府旗本领。1868年明治维新后，幕府的领地曾短暂被划入大坂裁判所（后改为大坂府）管辖，在1869年被改划入新设立的河内县，此后馆林藩领地在1871年实施废藩置县后改隶属馆林县，；但在1871年年底的第一次府县整併中，河内县和馆林县位于此郡的区域都被併入堺县，至此八上郡全部区域都属于堺县。1880年实施，正式的设置了近代的行政区划「八上郡」，但并未设置自己的郡役所，而是