郡司は徴税権のみならず、保管、貢進、運用、班田の収受も任されるなど絶大な権限を有しており、律令制初期の地方行政は朝廷から派遣されていた国司と在地首長としての権威を保持していた郡司との二重構造による統治が行われていた。しかし、朝廷は郡の分割や郷の編入などで郡の再編を進め、豪族の勢力圏と切り離した行政単位としての郡の整備を進める。また、郡内に複数の豪族が拠点を置く場合は、持ち回りで郡司に任命するなど、特定の豪族が郡司を独占しないように配慮した。
律令制下の郡司.
郡司の任免は式部省が管轄した。国司が推薦する郡司候補者は式部省に直接赴き、試問を受けて任命された。国司が推薦する者が必ずしも郡司に任命されるとは限らず、その地方の情勢で判断されることが多かった。
ただし、正員の郡司が任命されるまでの間、国司は臨時の郡司（擬任郡司）を任命することができた。正員の郡司が決まると、擬任郡司は自然に失職したが、後に国によっては国司が郡司を臨時に増員する権限を与えられ、臨時増員の郡司も擬任郡司と呼ぶ。
郡司任命に最も重要視されるのは令制上は個人の能力であったが、実際には譜第と呼ばれる候補者の氏・家の系譜経歴であった。ただし、三等以上の近親者が同時に同じ郡の郡司となることはできなかった。出雲国意宇郡では大領から主帳まで全て出雲臣氏が任命されている例もあるが、意宇郡、筑前国宗像郡のような神郡は例外とされた。また、郡司の子弟が若い頃に兵衛や帳内・資人として都で務め、行政処理の初歩を学んだり、中央における有力者との人脈形成が図られたりする事例もあり、それが個人の能力として評価される場合もあったと考えられる。
社会的側面としては、郡司は任地における伝統的権威とともに豊富な財力を有しており、貧農の救済など地方社会の秩序維持に“地方の有力豪族”として努めた。政治的側面としては、“国司の下の地方官”としての意味合いが強く、立場上は国司よりも下であったが、徴税や軽い刑罰の執行など地方行政の実務を執り行っていたために、律令制の地方支配は、中央政府が郡司による地方社会の把握を媒介として成立していたと評価されている。
郡司は郡衙と呼ばれる役所で政務を執ったが、しばしば郡司に任命された豪族の私的居館が郡衙として用いられた。このような場合を特に郡家（ぐうけ・ぐんげ・こおげ）と呼ぶこともある。