清原吉澄（高澄）の子・高重が、花山院の勅勘を被り下野国芳賀郡大内荘へ配流され芳賀氏と称したのに始まる。一方で紀清主の子・長有が芳賀氏を称したとする系譜もある。
芳賀禅可の強盛と没落.
主君・宇都宮氏との関係は深く、芳賀高直は宇都宮景綱の子・高久を養子にとり、宇都宮一族となっている。高久の子・高名は『太平記』に芳賀禅可入道と記述され、宇都宮氏綱を後見して宇都宮氏を主導した。そして観応の擾乱のなかで足利尊氏方として活躍したため、宇都宮氏は下野守護だけではなく上野・越後守護職を与えられ、また高名の養子で宇都宮氏綱の叔父の高貞と、高名の実子で高貞義弟の高家は越後守護代となった。しかし、鎌倉公方足利基氏に足利直義方だった上杉氏が帰参したことにより状況は一変、宇都宮氏綱の越後守護職は上杉憲顕に与えられた。これに対し芳賀禅可入道（高名）・高貞・高家が激怒し基氏方にき、武蔵国苦林野で合戦となった。この戦いで芳賀勢は敗北し、下野にいた宇都宮氏綱も追討対象となるが、氏綱は小山義政の仲介で戦わず降伏した。これにより強勢を誇った芳賀氏は一時勢力を失う。
その後、小山義政の乱では宇都宮方として参加したらしく、宇都宮基綱の戦死時に芳賀六郎・七郎・八郎も討死したとみえる。
宇都宮一門として繁栄.
高貞の孫・成高のとき、宇都宮持綱の娘を娶った。その後、宇都宮明綱の早逝により宇都宮宗家が断絶したため、成高の長子・正綱が宇都宮外孫として家督を継いだ。芳賀氏は成高の次子・高益が継いだ。
宇都宮氏の中興の祖で有名な宇都宮正綱の子・成綱が当主になると、武茂氏が反乱を起こした。これに対して成綱は実家の芳賀氏を頼り、これを鎮圧した。この結果、宇都宮家中における芳賀氏の地位は強大化した。高益の子・景高は奉行人として活躍し、景高の子（養子説あり）・高勝のときには、彼の発給した文書に主君の宇都宮成綱が追認するという形にまでなった。
宇都宮家内紛による衰退.
芳賀高定の活躍.
高定は実子・信高に芳賀氏を継がせず、本来の芳賀氏一族である高継（高規）に家督を継承した。信高は小貫氏を称している。
主家とともに滅亡.
系譜.
太線は実子、細線は養子。
 　高親
 　 ：
 　高俊
 　高直
 　高久
 　高名　岡本富高
 　高貞　高家
 　高朝　高清
 　成高
 　高益　　　宇都宮正綱
 　高孝　景高　芳賀興綱　成綱