これにより義清の影響力は一気に低下し、天文21年（1552年）の常田の戦いで勝利を収めるも、家臣団の動揺は抑え難く、天文22年（1553年）、武田氏に通じていた土豪・大須賀久兵衛尉が謀反し、また室賀氏、屋代氏、石川氏など村上方の諸将が武田氏に降伏したため、義清は4月9日葛尾城を一時脱出。
因此义清的影响力急剧下降，虽然在天文21年（1552年）的常田之战中获得胜利，亦难以抑制家臣团的动摇，天文22年（1553年），与武田氏串通的大须贺久兵卫尉谋反，而因为室贺氏、屋代氏、石川氏等村上方诸将向武田氏降伏，义清在4月9日逃离葛尾城。