天文21年（1552年），御岳城被攻陷，宪政完全失去武藏国，箕轮长野氏与西上州的诸将一起离反宪政。因此宪政的众亦都离反，宪政从居城退去，并逃到等上杉方有强大势力的上野国北部。天文20年（1551年），在宪政逃到越后国后，因为对上杉家的义理而拒绝服从北条氏，在长尾景虎（上杉谦信）于翌年率领援军前来上野为止，一直坚持这个立场，造成北条氏在上野国的支配失败，因为这些事情而被传颂为忠臣。弘治3年（1557年），在甲斐国的武田信玄开始侵攻西上野后，业正立即召集上野国人众，编成2万余人的大军于瓶尻迎撃，虽然在初战中