河内源氏が摂津源氏のように京都を活動舞台にせず坂東を拠点としたのは、兄の源頼光・源頼親が藤原道長に側近として仕えたのに対し、頼信は上野介や常陸介など遠方で収入の少ない東国受領となっていたからである。しかし、上記の様に武功を重ね、義家・義綱（賀茂次郎）・義光（新羅三郎）兄弟の頃には清和源氏最有力の勢力となっていた（ただし、義家と義綱の仲は険悪だったという）。この頃、源氏庶流は中央の下級官人を辞し、地方の荘官等となることにより勢力を築いていった。
しかし、義家の晩年に次男の義親が朝廷に反抗したため義家は苦境にたたされ、河内源氏に陰りが見え始める（義家の長男の義宗は早世している）。また、弟の新羅三郎義光（常陸源氏・甲斐源氏の祖）と四男の荒加賀入道義国（上野源氏・下野源氏の祖）が常陸合戦を引き起こし、両者が勅勘を受けてしまう。更に、義家の死後に家督を継承し栄名を誇った、義家の三男の義忠が暗殺され、当初事件の主犯とされた弟の義綱（美濃守）が白河院の命を受けた、源義親の子の源為義と源光国（美濃源氏）の討伐を受けて壊滅、また事件後真犯人が新羅三郎義光であったことが明らかになるなど、河内源氏内部の分裂は明白になり、権勢はしばらく失墜した。この背景には、河内源氏が拠り所にしていた摂関家の摂関政治から院政への移行があった。
保元の乱・平治の乱.
為義と義朝の対立は崇徳上皇と後白河天皇との間に起こった保元の乱において決着する。崇徳上皇方となり敗れた父や弟を処刑した義朝は、同じく院側についた義康が急逝したこともあり、河内源氏の中で最大の有力者となった。しかし京都では、信西一門・二条天皇親政派・後白河院政派というグループの鼎立が起こり、藤原信頼と結んでいた義朝は同じく信頼に与力した武士たちと共に後白河上皇を幽閉、平治の乱に加わった。一時信頼グループは政権を掌握するが、平清盛らが秘密裏に上皇らを救出したことで形勢逆転、敗退して信頼は処刑され、義朝は京を落ちて東国へ向かう。しかし、道中で腹心の鎌田政清の舅になる尾張国の長田忠致の手にかかって殺害された。
摂津源氏の源頼政と河内源氏の源頼朝.
なお、平治の乱では、源頼政（摂津源氏）は源義朝に対して独自行動をとって義朝の子の義平と戦い、結果的に平家の勝利に貢献している。