律令制の行き詰まりから、9世紀中頃より、現実に即した行政改革が行われた。地方でも、朝廷の税収確保のため、国司の権限を強化した。これに伴い、郡司の権限は国司権限に吸収されていく。各郡にあった正倉の管理も国司が行うようになり、徴税権のみならず、郡司の主要な収入源であった出挙の権限も奪われる。そのため、郡司を務めてきた地方豪族は変質を迫られていった。これに対し、国司の権限を分掌する幹部地方公務員とも言える在庁官人が急速に成長する。地方豪族の中には、郡司就任を忌避し、在庁官人として生き残る道を選ぶ者も少なくなかった。このような、郡司権限の縮小に伴い、郡衙・郡家も縮小・消滅していく。さらに、全国規模で古代的郡・郷・荘園が解体・再編され、中世的な郡・郷・保・荘園が成立していく。また、旧郡司豪族達は名田経営を行い、田堵へ変わっていった。こうして地方官としての郡司は有名無実化していくが、中世に於いても、郡司を輩出した地方豪族の系統を引く武士が「郡司」を名乗っている例も散見できる他、一部の地区では職の一つとして細々と生き残っていった。
郡司の任免は式部省が管轄した。国司が推薦する郡司候補者は式部省に直接赴き、試問を受けて任命された。国司が推薦する者が必ずしも郡司に任命されるとは限らず、その地方の情勢で判断されることが多かった。ただし、正員の郡司が任命されるまでの間、国司は臨時の郡司（擬任郡司）を任命することができた。正員の郡司が決まると、擬任郡司は自然に失職したが、後に国によっては国司が郡司を臨時に増員する権限を与えられ、臨時増員の郡司も擬任郡司と呼ぶ。郡司任命に最も重要視されるのは令制上は個人の能力であったが、実際には譜第と呼ばれる候補者の氏・家の系譜経歴であった。ただし、三等以上の近親者が同時に同じ郡の郡司となることはできなかった。出雲国意宇郡では大領から主帳まで全て出雲臣氏が任命されている例もあるが、意宇郡、筑前国宗像郡のような神郡は例外とされた。また、郡司の子弟が若い頃に兵衛や帳内・資人として都で務め、行政処理の初歩を学んだり、中央における有力者との人脈形成が図られたりする事例もあり、それが個人の能力として評価される場合もあったと考えられる。社会的側面としては、郡司は任地における伝統的権威とともに豊富な財力を有しており、貧農の救済など地方社会の秩序維持に“地方の有力豪族”として努めた。政治的側面としては、“国司の下の地方官”としての意味合いが強く、立場上は国司よりも下であったが、徴税や軽い刑罰の執行など地方行政の実務を執り行っていたために、律令制の地方支配は、中央政府が郡司による地方社会の把握を媒介として成立していたと評価されている。郡司は郡衙と呼ばれる役所で政務を執ったが、しばしば郡司に任命された豪族の私的居館が郡衙として用いられた。このような場合を特に郡家（ぐうけ・ぐんげ・こおげ）と呼ぶこともある。郡司は、職田（しきでん）を支給され、子弟を国学に進め、健児（こんでい）にするなど多くの特権を有した。職田は大領が6町、少領が4町、主政、主張が2町と国司より多かったが、禄や食封は無かった。
第7代デヴォンシャー公爵ウィリアム・キャヴェンディッシュの息子として生まれた。ケンブリッジ大学トリニティ・カレッジを卒業した（→生い立ち）。1857年の総選挙でホイッグ党（後の自由党）所属の庶民院議員に当選。第二次パーマストン子爵内閣に海軍本部第一卿、第二次ラッセル伯爵内閣に戦争大臣、第一次グラッドストン内閣に郵政大臣・アイルランド担当大臣として入閣（→若手自由党議員時代）。1875年1月に自由党党首職を辞したグラッドストンに代わって自由党党首となるが、グラッドストンが引き続き大きな影響力を発揮し、1880年に自由党が政権奪還した際には彼ではなくグラッドストンが首相に返り咲いた（→自由党党首として）。第二次グラッドストン内閣ではインド担当大臣、のち陸軍大臣として入閣した。党内ではホイッグ派の領袖としてジョゼフ・チェンバレンら新急進派と対立を深める。政府内では帝国主義派として行動し、エジプトのウラービー革命に対しては当初から武力鎮圧を主張し、スーダンのマフディーの反乱では包囲されたチャールズ・ゴードン少将の救助のため遠征軍の派遣を積極的に主張した。これらは受け入れられたが、海軍増強の訴えはグラッドストンによって退けられた（→第二次グラッドストン内閣において）。第二次グラッドストン内閣の退任後、アイルランド自治を目指すようになった党首グラッドストンと対立を深め、1886年の第三次グラッドストン内閣には入閣を拒否した。グラッドストンがアイルランド自治法案を提出すると、同じくアイルランド自治に反対して下野したチェンバレンとともに自由党内アイルランド自治反対派を糾合して自由統一党を結成した（→自由統一党の結成）。1886年成立の保守党政権、第二次ソールズベリー侯爵内閣に対しては閣外協力の立場に留めたが、1895年成立の第三次ソールズベリー侯爵内閣では保守党と自由統一党の連立政権を組み、彼もイギリス枢密院議長として入閣した。アーサー・バルフォア内閣時の1903年にチェンバレンの関税改革案をめぐって政府が分裂した際に自由貿易派としてチェンバレンの方針に反対し、バルフォアの慰留を振り切って閣僚職を辞した（→保守党政権下で）。1908年に死去した（→晩年・死去）。温厚な人柄で人望があったため、その影響力は大きく、政府から常に重用された（→人物）。妻はルイーザ。1891年にデヴォンシャー公爵位を継承していたが、子供がなかったため、爵位と家督は甥のヴィクターが継承した。