頼国の子の国房以降、美濃国内における活動が史料上に見られる。土岐氏の祖については系図類により国房、光国、光信、光衡の諸説あってはっきりしないが、光衡を祖とする説が有力である。
鎌倉時代.
鎌倉時代には土岐氏は庶流を美濃国内に多く土着させて、家紋にちなんだ「桔梗一揆」と呼ばれる強力な武士団を形成していた。
南北朝時代.
美濃守護職は頼康（頼貞の孫。頼遠の甥）が継ぐと、合戦では尊氏・義詮父子に味方し、度々戦功を挙げた。本領美濃の他にも、尾張と伊勢の守護職を兼任する大大名となり、最盛期を迎えた。その上、評定衆にも加えられた頼康は、幕府創業以来の宿老として重きを置かれた。
なお、土岐氏は「御一家の次、諸家の頭」（『家中竹馬記』・『土岐家聞書』）、すなわち足利氏の一門（細川・斯波・畠山・一色・山名氏など）には上位を譲るものの、それ以外の諸大名の中では筆頭であると自負していた。
室町時代.
しかしながら、美濃の守護職を継いだ頼益（頼忠の子）は、優れた武将で合戦でたびたび戦功があり、「幕府七頭」の一家として評定衆に列し、侍所別当として幕閣の重鎮となった。
かつての土岐康行の乱では土岐氏庶流の多くが康行に付随したため、新たに美濃守護となった頼忠の土岐西池田氏は外様の国人である富島氏と斎藤氏を守護代として重用する。その後、頼益の子持益の頃に富島氏と斎藤氏の争いが美濃全土を巻き込む内乱に発展した（美濃錯乱）。最終的に勝利した斎藤氏が、守護代を単独で継承して美濃の実権を握るようになった一方、持益は隠居させられ、斎藤利永が擁立する庶流の成頼が守護になった。
戦国時代.
なお、頼芸の弟の治頼は分流の常陸江戸崎土岐氏を継いでおり、美濃を追われた頼芸は一時江戸崎（現在の茨城県稲敷市）に身を寄せている（このとき土岐氏の嫡流を譲ったとされるが、江戸崎土岐氏もまた豊臣秀吉の小田原征伐に際し領地を失い滅亡した）。更に頼芸は上総万喜城（現在の千葉県いすみ市）のこちらも分流である土岐為頼を頼った（上総の土岐氏も小田原征伐に際し領地を失い滅亡した）。
江戸時代.
また、同じく頼芸の子頼忠は、豊臣秀吉高家衆、その子一圭は豊臣秀頼高家衆として大坂に仕えた。大坂落城後は、徳川頼宣に仕え、廃藩置県まで紀州藩士として続いた。
治頼の子孫は紀州徳川家に仕え、徳川吉宗が将軍職を継いだ時に幕臣となった。
土岐世保家.