设置始见于战国时期，主要是较大的诸侯国在自己边疆设立，内地由于不需要雄厚的武力故不设郡，只设县。当时设郡的国防目的和价值远远大于同时期的县。郡的地位在此时有一定的威慑意义，《史记》记载秦武王的左丞相甘茂认为韩的宜阳县名为县、实为郡，难以攻克的观点。秦始皇消灭六国统一天下，六国人民并不心服，各地都有驻留兵力的必要，所以分天下为三十六郡，郡下统县，成为中国第一个统一王朝的郡县二级行政区划设置。西汉由于恢复了一定程度的分封制，所以郡的同级还出现了诸侯王国，以郡、国统县，仍然是二级制。郡的数量也大大增加，由秦末