令制国时代属于伊贺国，在江户时代成为津藩的领地，19世纪末明治维新实施废藩置县后改隶属津县，1872年的第一次府县整併中被併入安浓津县，三个月后安浓津县即更名为三重县。在1879年实施时，正式的设置了近代的行政区划「阿拜郡」，并在上野町（位于现在的伊贺市）设置「阿拜山田郡役所」，同时管辖阿拜郡和山田郡。