7月败给支持显定的扇谷上杉家的军队并从津久井山撤退，不久后即传来显定在越后国战死的消息，于是为了夺回白井城，在8月向上野国进兵，此时白井城中还有显定的养子宪房率领的败军，虽然仍然希望进攻士气低落的白井城，不过因为已经成为白井长尾氏当主的景英和当地的一揆和浪人众等人投向宪房一侧，于是放弃白井城。永正8年（1511年），在甲斐国举兵，企图再度复归关东，不过最后失败，在永正9年（1512年）逃到骏河国的今川氏之下。
逝世.在永正11年（1514年）8月24日于死去（不过因为后继者景英对显