しかし、平家政権に反旗を翻した勢力は源氏一族のみで構成されていたわけではなく、単純に源氏と平家の争いとは言えない。この乱には熊野勢力や興福寺、園城寺などの寺社勢力が反平氏を掲げて蜂起し、内乱前期においては北陸の在地豪族（義仲とは別個に挙兵）や九州の在地豪族など源平という氏族に無縁の勢力も数多く蜂起している。また、この争乱は、一族や家族、地域の共同体という横の絆と、主君と家臣という縦の絆の相克があり、命を懸けて戦った武士の全てが源氏や平氏という特定氏族に収斂されるわけでもない。
また、源氏や平氏は皇族から分岐した家系であり、当然ながら非武士の貴族層にも多数の源氏・平氏がおり、当時の源氏長者（いわゆる源氏の一族のトップ）も非武士の貴族である（武士が源氏長者になるのは、後世の足利義満からである）。非武士の源氏・平氏が、それぞれ武士の源氏・平氏に直接的・間接的に加担・援助したという記録は一切存在しないし、関与する動機が存在しない。
つまり、源平合戦の呼称で想起されるような、源氏と平氏がそれぞれの一族を糾合して戦った訳ではないのである。確かに、武田信義や足利義兼、木曾義仲など、反平氏の掛け声のもとに挙兵をした源氏一族は多い。しかし、源氏一族に属していても、平氏に縁（ゆかり）や義理があって同族に弓を引いた者もいた。このことは平治の乱において、摂津源氏の源頼政が河内源氏の源義朝とは完全に別行動を取っていることからもうかがえる。野木宮合戦や頼朝と義仲の争い、義仲と行家の争いなど源氏内部での戦いもこの一連の内乱に含まれる。同時に蜂起した諸源氏であったがそれらが全て最初から源頼朝の指揮下にいたとは限らないのである。更に源義朝・頼朝父子が源氏嫡流であったというのは鎌倉幕府の成立と言う結果論から成立したものであり、実際の河内源氏は複数の流れに分かれて単独の嫡流が存在する状態ではなく、河内源氏を代表する武者であった源義家の後継に限定したとしても、大蔵合戦や保元の乱で父や弟を討ってその地位を得た源義朝の後継者である頼朝だけではなく、大蔵合戦で討たれた源義賢の後継者である義仲や、義朝・義賢の弟である行家もその地位を主張できる存在であった。
源頼朝に従った平氏.
北条時政、土肥実平、熊谷直実、畠山重忠、梶原景時、三浦義澄、千葉常胤、上総広常など、坂東八平氏を中核に多数。