牟娄郡位于纪伊国最南端，南侧与熊野国接邻，范围大概只有相当于2005年以前旧田边市的辖区；在实施令制国制度后，熊野国被併入纪伊国，同时熊野国的全部区域野直接划入牟娄郡内，因此其辖区从现在的田边市一直往东延伸到现在的熊野市，甚至现在属于奈良县的上北山村和下北山村也包含在内。在当时牟娄郡是全南海道内面积最大的郡，这可能是由于位处偏远，且辖内多为山区，甚少平地致人口不多所致。而在现在的尾鹫市以北至纪北町的区域，过去最初属于志摩国英虞郡，直到1582年才由当时的城主和伊势国司北畠信雄议定以为界，将以西的这片区域