，但不是名将道灌的敌手，在各地的势力战败后，威势开始衰退。对此，接受足利成氏的支援，无论如何都继续与道灌战斗。但是在文明10年（1478年），因为道灌的策略，在长年对立的上杉氏和成氏之间成立和议后，终于失去后盾，结果钵形城被道灌攻陷，被迫前往武藏国（长尾景春之乱）。
长享之乱.之后逃到古河公方足利成氏之下，被成氏赐予的，以奏者身份等待再起的机会，不久后道灌被暗杀，在成氏之下讨伐道灌势力后，救援被显定进攻的上杉定正，并与进入相模国的显定战斗（长享之乱）。在这段期间，出家并自号其有斋伊