鎌倉時代に、足利本家の義氏が三河守護となると、義清の孫義季は兄の仁木実国、弟の戸賀崎（戸崎）義宗らとともに三河国へ進出し、細川郷を領して細川次郎と名乗った。しかし足利家同門でも家格が高く本家からの独立性が強かった斯波氏や畠山氏とは異なり、この時代の細川氏はさほど有力な御家人ではなく、その活動の記録はほとんど残されていない。矢田義清が壮年で戦死した際、残された遺児は幼かったと考えられ、有力な縁戚関係もなく足利義兼ら一族の庇護を受けたようだが、その結果、陪臣・家臣という地位にまで下がったのが原因のようである。そのために平安末期～鎌倉初頭までは知行地もほとんどなく勢力が全くなかったと考えられる。三河に移ってから庶流も分出し、漸く勢力を養う事ができたようである。鎌倉期の庶流の中には一族から離れて同族の他氏に仕えた者もおり、後に細川氏の宿敵的存在になる同族の斯波氏の重臣である鹿草氏（完草氏）は史料から細川氏の庶流であることは判明しているが、どの流に属していたのかは不明になっている。
和氏の嫡子である細川清氏は、当初将軍義詮の執事職（後の管領）として幕政の実権を握ったが、佐々木道誉の讒言により失脚した（康安の政変）。その後南朝方に属したが、一族の細川頼之に追討されて滅び、また顕氏の子・細川繁氏も急死したため、頼春の嫡子である頼之が細川氏で随一の実力者となる。代々幕府の管領に任ぜられることになる細川氏本家の京兆家は、子がなかった頼之の弟でその養子となり跡を継いだ細川頼元の後裔を指し（頼元の血筋自体は政元までで途絶える）、その他の有力な庶家・分家も、多くは頼之の時代に派生している。
室町時代の細川氏は、京兆家を中心とした同族連合体とも言うべき集団を形成することで、一族内訌の危険を減らし、これにより有力守護の勢力を削ごうとする将軍の干渉を排し、管領・有力守護の地位を保ち続けたのである。
京兆家.