郡制
しかし、郡制の存在は行政の煩雑化をもたらすだけで自治団体の実績に乏しいとして、立憲政友会を中心に郡制の廃止を求める意見が早くから上がっており、1906年(明治39年)には政友会が衆議院に廃止案を提出した。この議案は否決されたが、政友会の原敬が首相に就任すると本格的に郡制廃止に乗り出し、1921年(大正10年)4月12日に「郡制廃止ニ関スル法律案」が可決された。これによって1923年(大正12年)4月1日に郡制が廃止された。郡会は制度の廃止と同時に無くなったが、郡長および郡役所は残務処理のため1926年(大正15年)7月1日まで存置された。 岡山県の例では郡役所の廃止に際し、同年6月28日に県内の郡長を集めた最後の郡長会議が行われ、御真影の奉還式と亡くなった郡吏員の慰霊祭、功労者表彰式が行われている。
この制度の廃止以後、郡は単なる地理的名称として残ることとなった。なお、戦時中の1942年(昭和15年)には、内務省告示によって、北海道以外の全ての府県に府県の出先機関として地方事務所が設置され、原則これを郡を単位にして設置したため、事実上郡役所が復活した形となった。
1878年(明治11年)7月22日に制定された郡区町村編制法により、それまでの大区小区制が廃止されたことで復活した旧来の郡は、同法により行政区画として扱われ、郡役所と郡長(官選)が置かれた。この郡に、府県で処理するには小さく、町村で処理するには大きい事務を処理させるため、両者の中間に位置する行政・自治団体としての機能を付与したのが法律としての「郡制」である。
自治団体としての郡には理事機関として郡長が、議決機関として郡会と郡参事会が設けられ、郡会議員は3分の2が各町村議会の互選、残りの3分の1が所有している土地の地価が1万円以上の大地主の互選とされ(法改正後は直接選挙による選出に変更)、郡参事会は郡長と府県知事が任命する郡参事会員(名誉職)により構成された。郡は内務大臣・府県知事の監督下にあり、郡長は独自の課税権を持たないなど、同法下での郡はあくまでも国・府県の出先機関として町村の戸長を通じて中央の行政命令を下達する機関に過ぎなかった。また、郡制施行と同時に計画されていた郡の分置廃合への反対が強かったため、全国で郡制が施行されたのは1899年(明治32年)3月16日に郡制が全部改正(明治32年3月16日法律第65号)されてからであった。