島国日本では隣国の朝鮮と同様に、古代から沿海部に居住する海民が水上兵力として活躍した。古代ヤマト政権の時代には、日本の水軍を支えたのは安曇部（あずみべ）や海人部（あまべ）、津守氏といった海の氏族たちであった。古代の日本においては国家の背骨は大阪湾、瀬戸内海にあり、紀ノ川流域の紀氏のように瀬戸内海に対する天然の良港を持ち、後背に木材産地を確保した大豪族も独自の水軍をもって活躍した。
中世の水軍.
平安時代に入ると、水上輸送する官物を強奪する「海賊」の存在が歴史に現れる。貞観年間には瀬戸内海の海賊鎮圧の命令が出されている。彼らは当初は海賊行為を主体とした小規模な集団に過ぎなかったが、平安後期に入ると、各地で在地の有力者が力を持ちはじめた。陸上の荘園では開発領主が武芸をもって世業とするようになり、武士階層の成立が進んでいく。一方、海上でも同じように海上の武力をもって世業とする海の武士たちが登場するようになった。
桜井英治や網野善彦は、中世の海賊は管轄地に鎮座する神に仕える神人を自称しており、神域を通行する船から初穂料や上分を徴収をすることを名目としたことから、山伏や悪党などと同様の性格を持った武力集団だったとしている。奉献という名目がある以上いきなり襲うことはなく、まず交渉を行い、決裂した場合には武力に及んだ。商船側も海賊の関を通過する時には礼帆と呼ばれる帆を少し下げる作法をとるなど、中世の海賊行為は「警固衆（警護衆）」と呼ばれ、一定の社会的な理解のもとに行われた。
紀州方面に於いては別当氏に代表される熊野水軍が代表格であり、治承・寿永の乱に於いては湛増などが壇ノ浦などで活躍している。これらは後に、九鬼水軍へと引き継がれていく。
また、安芸の小早川氏、伊予の越智氏や河野氏、三浦半島の三浦氏、関東御免船として活動した津軽の安東氏 などは、陸の武士であると同時に支配下の沿海土豪からなる水軍を擁した海賊衆でもあった。
中世の海辺の小土豪が結合して軍事力をもつようになった海上勢力を海賊衆といい、九州や瀬戸内海、紀伊半島、伊勢湾、江戸湾など日本各地で見られた。海賊衆は陸の悪党と同様に徒党を組んでの略奪行為を行った他、海上関を設けて帆別銭などの通行料の徴収や金銭を代償に取った船舶航行の警護を行い、幕府などの公権力の統制を無視して海上で独立した軍事力として活動した。