因此盐谷义孝等宇都宫重臣纷纷跟随，并与广纲敌对。之后壬生纲房入侵下野各地，打算统一下野，史称「大永内讧」，造成宇都宫氏衰败。广纲因为年纪尚小，由家臣芳贺高定守护，使宇都宫城能避免被攻陷。因此以后受到守备真冈城的高定补佐及养育。2年后的天文20年（1551年），广纲杀了那须高资而报了父仇。弘治元年（1555年）作乱的家臣芳贺高照遭高定诱杀，且占领宇都宫城的壬生纲房也因病急死，纲房的嫡子壬生纲雄成为宇都宫城的新城主。在壬生氏的侵攻之下，祖母井城、八之木城纷纷沦陷，但芳贺高定开始展开外交手腕，弘治3年（155