代代以御前城（栃木县真冈市）为居城。文治5年（1189年），源赖朝动员时，芳贺氏开始从属于，芳贺高俊为了加强与宇都宫氏的关系，在永仁年间（1293年至1298年）兴建飞山城，并且以其为居城。其后，芳贺氏和宇都宫氏亘相通婚，籍此强化彼此的关系，与并称为。建武新政（1333年）后，站在南朝一方战斗，历应4年或兴国2年（1341年），拥立公纲之子佔据了宇都宫城，并且改为靠拢北朝，可是城池最终却被攻佔。然而，随着北朝的开始进攻常陆，导致显国不得不前往增援，最终高名趁城内守兵薄弱，在落城后两个月内重新佔领宇都宫城。正