，砥石城被夺去，砥石城的足轻大将矢泽萨摩守（幸隆的弟弟）与幸隆内通。因此义清的影响力急剧下降，虽然在天文21年（1552年）的常田之战中获得胜利，亦难以抑制家臣团的动摇，天文22年（1553年），与武田氏串通的大须贺久兵卫尉谋反，而因为室贺氏、屋代氏、石川氏等村上方诸将向武田氏降伏，义清在4月9日逃离葛尾城。后来重整形势后，在4月22日成功夺还葛尾城。武田晴信向深志城撤退，于5月11日返回甲府。但是晴信在7月25日率领大军在甲府出发，在8月把义清迫到末路。无法抵抗的义清逃往越后投靠长尾景虎（上杉谦信），