高山氏
その後も足利氏に従ったが、応安元年(1368年)、武蔵平一揆の際には河越直重に加わる。乱は関東管領上杉憲顕によって鎮圧され、以降は関東管領上杉氏の家臣として吾妻郡高山村を本拠に高山頼重は上杉禅秀の乱・永享の乱で、高山重秀・重友は結城合戦と戦功を重ねた。
高山盛重(因幡守)は文明18年(1486年)上杉顕定に従い、菅谷原の合戦(埼玉県嵐山町)で上杉定正に敗れ討ち死。その後の盛重の子孫は、新田の金山城主横瀬氏、由良氏に仕え、高山繁勝の代で秋元6万石の国家老として栄える。本家は大高山と呼ばれ、その分家の子孫に江戸期の寛政三奇人の一人として著名な高山彦九郎がいる。
主家の上杉氏は天文15年(1546年)、北条氏康に河越夜戦で敗れると次第に没落し、天文21年(1552年)、上杉憲政が越後の長尾景虎(上杉謙信)を頼って落ちて行く。永禄3年(1560年)、上杉謙信の関東出兵の際には高山行重がこれに参加したが、武田氏、後北条氏の勢力が強くなると高山氏は上州の諸将と共に武田信玄に従った。武田氏滅亡後は織田信長配下の滝川一益、本能寺の変ののちは後北条氏に属し、小田原征伐で後北条氏と共に没落した。末裔は江戸時代には高山衆と呼ばれた。居館として高山社の遺構がある。