19世纪末江户时代结束之际，冰上郡境内主要为丹波柏原藩和幕府的领地，另有少部分区域属于、、、、。随着1868年幕府的结束及接着实施的废藩置县政策，辖内地区曾先后分属京都裁判所、久美滨县、龟山县、三田县、山上县、汤长谷县，直到1871年全数被整併到丰冈县内，1876年再次整併到兵库县。1879年实施，正式的设置了近代的行政区划「冰上郡」，郡役所设于柏原町。