これにともない、田堵・負名・開発領主として田地経営に経済基盤を置きながら、受領のもとで治安維持活動にも従事するという、武力を有する在地階層（旧郡司層および新興階層）が形作られていった。彼らは、同族で団結し、武力で物事を解決する実力主義の精神が強く育まれた。反面、私闘も多発した。また生き残るためには、追討される側ではなく追討する側に属すことは重要であり、朝廷と繋がる力量ある統率者に巧妙に連なることが不可欠だった。
武士の誕生.
寛平・延喜東国の乱の終わりの頃、桓武天皇のひ孫にあたる平高望が上総介として赴任した。高望の子息たちは現地の有力者と婚姻関係を結ぶなどして勢力を拡大し、やがて坂東平氏が誕生する。
同じ頃、西国では藤原純友が朝廷に対して反乱を起こしたが、これも鎮圧された。この二つの乱は承平天慶の乱と呼ばれる。朝廷は鎮圧に功績のあった者たちを受領級の中・下流貴族（四位・五位）に昇進させた（元は極めて低い官位にある中下級の官人であった）。武士を国家の重要な役割として認めるとともに、従来の不遇に対する不満が乱の原因になったとの認識があったためである。清和源氏の祖とされる源経基（清和天皇の孫）もその一人であった。
地方の武士はこれら軍事貴族へ従うことで自己の権益を守ろうとした。在地武士たちは、戦力を一定以上確保するために、自らに従う者を郎党と呼んで主従関係を結び、また血縁関係者である「家の子」も合わせ、武士団が形成されていった。
在地武士は堀と土塁を巡らせた屋敷を拠点とし在地領主、騎射戦闘力を磨いた。この頃、丸木弓に代わり、木と竹を張り合わせた合成弓が出現した。また、騎射戦闘に適した大鎧が開発された。刀も、それまでの直刀から蝦夷の蕨手刀の影響を受けて、馬上での使用に適した湾曲した刀、即ち日本刀が誕生した。このような新装備のため、武士の戦闘力は格段に向上した。
水軍.
海上でも陸上と同じように武力をもって世業とする集団が登場するようになった。彼らは水軍と呼ばれ、平時には海上関を設けて帆別銭などの通行料の徴収や金銭を代償に取った船舶航行の警護をおこなったが、海賊となり略奪行為を行うこともあった。戦時には陸上勢力に協力し、治承・寿永の乱（源平合戦）や、南北朝の動乱には、両勢力とも水軍を利用した。
僧兵.