属于播磨国辖下的郡，在约13世纪至14世纪期间被分割为饰东郡及饰西郡两郡，直到1896年才再次被整併为饰磨郡。在19世纪末江户时代结束之际，现在的饰磨郡大部分地区皆属姬路藩领地，另有少部分区域属于幕府领地和。随着1868年幕府的结束及接着实施的废藩置县政策，郡内各地曾先后分属兵库裁判所、兵库县、姬路县管辖，直到1871年才全数整併为姬路县的辖区，1876年再次整併到兵库县内。1879年实施，正式的设置了近代的行政区划「饰东郡」和「饰西郡」，直到1896年两郡合併为饰磨郡。