大永4年（1524年）出生，家中嫡男。在父亲赖武死后，仍然据有大桑城并与叔父兼守护土岐赖艺和斋藤道三对峙。不过友方‧近江的六角定赖于天文5年（1536年）转为支持赖艺方，而守护代斋藤利茂亦在定赖的仲介下，投向赖艺方等，于是渐渐处于劣势。天文8年（1539年）正月，与赖艺之间成立和议。不过斋藤道三暗中进行调略。天文12年（1543年）7月以后，祐向城、别府城等大桑城的支城相继陷落，最后大桑城亦被攻下，于是向母亲的实家朝仓氏的越前逃命。天文13年（1544年）8月，在朝仓孝景（宗淳）和尾张的织田信秀支援