律令制の個別人身支配が弛緩していくと、在地社会の階層分化が進み、百姓の中から私出挙・私営田活動を通じて富を蓄積した富豪層が成長し始めた。地方行政にあたる国司は、郡司・富豪層に着目し、従来の個別人身支配の代わりに郡司・富豪層の在地経営を通じた支配へと転換していった。国司は調庸・封物を中央の朝廷へ運搬進納する義務を負っていたが、国司はその運搬進納を担う綱領に郡司・富豪層を任じるようになった。調庸・封物の損失や未進が発生した場合は、郡司・富豪が私的に補償する義務を負わされた。
原型期.
臨時発兵規定では、兵（軍団兵士や健児）および国内の人夫を動員した。国内の人夫とは百姓のうち弓馬に通じた武勇輩、すなわち、郡司・富豪層であり、帰順して全国各地に移住させられた蝦夷の後裔たる俘囚であった。臨時発兵規定の適用により、これらが、国衙が動員可能な国内の実質的な軍事力となった。特に俘囚が有していた高い戦闘技術は、新たに形成されようとしている軍制に強い影響を与えた。俘囚は騎馬戦術に優れており、騎乗で使用する白刃である蕨手刀は後の日本刀へとつながる毛抜形太刀の原型となっている。
以上のようにして、国衙軍制の原型が形成されていった。
成立期.
王朝国家体制への移行により、富豪層による調庸・封物の京進は廃され、国司（受領）による租税進納が行われるようになった。その結果、調庸・封物京進を狙っていた群盗海賊は沈静化することとなった。また、受領への権限集中が行われ、国衙機構内部は受領直属部署（「所」という）を中心とするよう再編成された。郡司・富豪層は、土地耕作を経営し納税を請け負う田堵負名として国衙支配に組み込まれ、また、各「所」に配属されて在庁官人として国衙行政の一翼を担うようになった。