郡是全南海道内面积最大的郡，这可能是由于位处偏远，且辖内多为山区，甚少平地致人口不多所致。而在现在的尾鹫市以北至纪北町的区域，过去最初属于志摩国英虞郡，直到1582年才由当时的城主和伊势国司北畠信雄议定以为界，将以西的这片区域归入纪伊国牟娄郡。江户时代后，牟娄郡分别成为纪州藩以及其和的领地。1871实施废藩置县后，这些区域曾先后隶属和歌山县、新宫县、田边县，不过在1872年的第一次府县整併后，概略以熊野川及其支流为分界，以西全数划入和歌山县，以东划入度会县，但在1876年的第二次府县整併后，度会