天文12年（1543年）7月以降、祐向城、別府城などの大桑城の支城は相次いで陥落、遂に大桑城も落ち、頼純は母の実家である朝倉氏を頼って越前国へ亡命した。
天文12年（1543年）7月以后，祐向城、别府城等大桑城的支城相继陷落，最后大桑城亦被攻下，于是向母亲的实家朝仓氏的越前逃命。