観応の擾乱で春日顕時に隙を突かれ紀党益子氏の居城である西明寺城や清党の八木岡城を落とされたりしたが、薩埵峠の戦いなどで活躍し、足利尊氏の勝利に貢献した。清党の芳賀氏は薩埵山体制下で上野国、越後国の事実上の守護代を任されるほどにまでなった。
『太平記』によれば芳賀禅可は清党のことを「東国に名ある武士は多しといえども、弓矢の道において指をさされぬは、ただ我が一党なり」と言い放っている。
しかし体制崩壊後、越後・上野守護代職を奪われたことで激怒した芳賀禅可が上杉憲顕に対してクーデターを起こすが敗北。家臣を多く失い弱体化してしまった。さらに宇都宮氏も徐々に没落し、不遇の時代を迎えることとなる。
戦国時代.
芳賀氏の最盛期と没落.
その後、正綱の嫡男の宇都宮成綱と武茂氏の間で家督を巡った争いが勃発。芳賀高益は単独で成綱を支持し、武茂氏と芳賀氏の政争にまで発展。この争いに芳賀氏は勝利し、さらなる権力を得た。
その後、芳賀景高、芳賀高勝と清党による専横が続くことになった。
永正期には古河公方の対立を機に宇都宮成綱と芳賀高勝の対立が表面化し、高勝は成綱を恐れ、謀略によって成綱を隠居させ、宇都宮忠綱を擁立することに成功するが、成綱の方が一枚上手だったために宇都宮錯乱で敗北。清党の軍事力は大きく弱体化した。高勝は成綱に殺され、芳賀高経、芳賀高孝は助命されたが、宇都宮城に抑留させられた。宇都宮成綱によって家中は成綱を頂点とする支配体制に取り込まれた。この間に古河公方の対立に連動して宇都宮成綱と佐竹義舜が北関東の覇権を巡り争った竹林の戦い・縄釣の戦いが発生しているが紀清両党も活躍している。
大永期には忠綱の家中の統制強化に反対する芳賀高経、芳賀高孝、益子勝清、益子勝宗、塩谷孝綱などが宇都宮興綱を擁立。さらには結城政朝と手を組んで忠綱を追放することに成功した。興綱の代に再び清党及び芳賀氏は復権に成功している。
天文期には芳賀高経が急激に勢力を伸ばす壬生綱房と小山氏を巡る外交政策で対立。綱房は宇都宮俊綱に接近し、高経は孤立化する。その後反乱を起こすが敗北し、俊綱に殺された。
益子氏の復権.
芳賀高経の後を継いだのは益子勝宗の三男芳賀高定であり、この時期の紀清両党は清党も紀党も当主が紀氏系だった。