纪至14世纪期间被分割为饰东郡及饰西郡两郡。19世纪末江户时代结束之际，饰西郡主要属于姬路藩的领地，另有少部分地方为幕府领地。随着1868年幕府的结束及接着实施的废藩置县政策，曾分别先后隶属兵库裁判所、兵库县、姬路县、龙野县，1871年全数被整併到饰磨县内，1876年再次整併后属于兵库县。1879年实施，正式的设置了近代的行政区划「饰西郡」，郡役所设于高冈村（位于现在的姬路市市中心西北侧）。