纪至14世纪期间，揖保郡被分割为揖东郡及揖西郡两郡。19世纪末江户时代结束之际，揖西郡主要属于龙野藩，另有部分地区属于丸龟藩、、姬路藩。随着1868年幕府的结束及接着实施的废藩置县政策，曾分别先后隶属龙野县、三日月县、姬路县，1871年全数被整併到饰磨县内，1876年再次整併后属于兵库县。1879年实施，正式的设置了近代的行政区划「揖西郡」，郡役所设于龙野町（位于现在的龙野市）。