政劝谏，不过没有被接受，于是宪政在笛吹峠之战中被武田信玄击败，自身没有参加该战。在古文书类中，亦有记载业正没有参加该次战役，但是信玄引诱业正成为内应，可见在这段时期，与主君宪政之间的关系相当微妙。天文21年（1552年），御岳城被攻陷，宪政完全失去武藏国，箕轮长野氏与西上州的诸将一起离反宪政。因此宪政的众亦都离反，宪政从居城退去，并逃到等上杉方有强大势力的上野国北部。天文20年（1551年），在宪政逃到越后国后，因为对上杉家的义理而拒绝服从北条氏，在长尾景虎（上杉谦信）于翌年率领援军前来上野为止，一