太線は実子、細線は養子。　高親　 ：　 ：　高俊　 ┃　高直　 │　高久　 ┣━━━┓　高名　岡本富高　 │━━┓　高貞　高家　 ┃　　┃　高朝　高清　 ┃　成高　 ┣━━━━━━┓　高益　　　宇都宮正綱　 ┣━━┓　　　┣━━━┓　高孝　景高　芳賀興綱　成綱　　　　 ┣━━┓　　　　高経　高勝　 ┏━━╋──┐　高継　高照　高定　 │　　　　　┃　高武　　　小貫信高　 ┃　高成成高から高武までは『下野国宇都宮一族』（七宮涬三、2006年）に拠り、それ以外は『姓氏家系大辞典』（太田亮、1936年）に依拠した。
高継は宇都宮家の家臣として仕えたが、天正年間に一時離反したともいわれる。高継の跡は宇都宮広綱の子・高武が継いだ。高武は宇都宮一族として兄・国綱を支え活躍し、豊臣秀吉の奥州仕置では6万石を領した。しかし慶長2年（1597年）、高武は兄・国綱の養子のことで内乱を引き起こしたとされ、宇都宮氏・芳賀氏は改易された。以後宇都宮氏と同じく大名への再興も無く、芳賀氏は没落してしまった。なお高武の子・高成は水戸徳川家に仕えたといわれる。
高経を討ち取った後、宇都宮尚綱は益子勝宗の子・高定にその跡を継がせた。高定は宇都宮重臣として活躍した。天文18年（1549年）、那須高資との戦いで当主・尚綱が敗死し宇都宮城は壬生綱房により奪われるという宇都宮家の危機に対しては、高定は真岡城へと戻り幼い当主・広綱を補佐して主家の勢力回復を図っている。一方、芳賀高照は壬生綱房や他の反広綱派の重臣と結んで宇都宮氏復帰を図ることになる。天文20年（1551年）に那須高資を千本城にて謀殺、弘治元年（1555年）芳賀高照を真岡城で自害に追い込み、翌年江戸忠通や北条氏康・佐竹義昭の支援を受け、壬生綱房の跡を継いだ綱雄を追って宇都宮城を奪回した。天正4年（1576年）には壬生綱雄を鹿沼城で謀殺し宇都宮に友好的な周長を城主に据えるなどし、宇都宮家を安定させた。高定は実子・信高に芳賀氏を継がせず、本来の芳賀氏一族である高継（高規）に家督を継承した。信高は小貫氏を称している。
高貞の孫・成高のとき、宇都宮持綱の娘を娶った。その後、宇都宮明綱の早逝により宇都宮宗家が断絶したため、成高の長子・正綱が宇都宮外孫として家督を継いだ。芳賀氏は成高の次子・高益が継いだ。宇都宮氏の中興の祖で有名な宇都宮正綱の子・成綱が当主になると、武茂氏が反乱を起こした。これに対して成綱は実家の芳賀氏を頼り、これを鎮圧した。この結果、宇都宮家中における芳賀氏の地位は強大化した。高益の子・景高は奉行人として活躍し、景高の子（養子説あり）・高勝のときには、彼の発給した文書に主君の宇都宮成綱が追認するという形にまでなった。
憲法学者の西修は『日本国憲法はこうして生まれた』（2000年）で、吉田、白洲、長谷川がいずれも記憶にないと言っている史料的証拠及びケーディスとウォードに直にインタビューし、両者が共に松本の「天皇の身体」発言を否定した結果から、「『天皇の身体』云々の発言が本当にあったのかどうかは、藪の中といわざるを得ない」としつつ、「マッカーサー〔ママ〕 の天皇戦犯に対する発言があったことは事実で、あるいは松本大臣がややオーバーに聞いたのかもしれない。ただ、そのような一つの言葉にもきわめて敏感にならざるを得ないほど張りつめた空気が支配していたことは確かであっただろう」とする。西は『図説日本国憲法の誕生』（2012年）では、松本以外に「天皇の身体」にふれた史料はないが「『最高司令官といえども万能ではありません』、『この新憲法(総司令部案)が受け入れられれば、天皇の地位は実際に安泰になるだろう』などの言葉を合わせて、松本がこの案を呑まなければ、『天皇の身体』が守られないと考えたのも不思議ではないだろう」としている。西は同著で、1946年2月15日に白洲次郎がGHQに再考を促そうとして書いた手紙、いわゆる「ジープ・ウェイ・レター」に対するホイットニーの回答－「外部から日本に対して、憲法が押し付けられる可能性があり、そのときは最高司令官がなんとか保持を可能にしている日本の伝統や機能を一掃しかねない非常に厳しい内容になるでしょう」という内容－に触れ、「これは、決して脅しではなかった。というのは、極東委員会の設置が目前に迫って控えており・・同委員会構成国のなかには、天皇制廃止を強硬に主張している諸国もあったからである」としている。