しかし同年7月に扇谷上杉氏の援軍である甲斐武田氏に岩付城を攻められると、扇谷上杉氏に降伏、帰参する。
但是同年7月在岩付城被扇谷上杉氏的援军甲斐武田氏进攻，向扇谷上杉氏降伏，返回上杉家。