此其辖区从现在的田边市一直往东延伸到现在的熊野市，甚至现在属于奈良县的上北山村和下北山村也包含在内。在当时牟娄郡是全南海道内面积最大的郡，这可能是由于位处偏远，且辖内多为山区，甚少平地致人口不多所致。而在现在的尾鹫市以北至纪北町的区域，过去最初属于志摩国英虞郡，直到1582年才由当时的城主和伊势国司北畠信雄议定以为界，将以西的这片区域归入纪伊国牟娄郡。江户时代后，牟娄郡分别成为纪州藩以及其和的领地。1871实施废藩置县后，这些区域曾先后隶属和歌山县、新宫县、田边县，不过在1872年的第一次府县整