向赖艺方等，于是渐渐处于劣势。天文8年（1539年）正月，与赖艺之间成立和议。不过斋藤道三暗中进行调略。天文12年（1543年）7月以后，祐向城、别府城等大桑城的支城相继陷落，最后大桑城亦被攻下，于是向母亲的实家朝仓氏的越前逃命。天文13年（1544年）8月，在朝仓孝景（宗淳）和尾张的织田信秀支援下，计划再次进入美浓，不过道三在6月已经收到情报。朝仓军以朝仓宗滴为总大将，从德山谷南下，在9月19日于赤坂与斎藤军合战，得胜后切断与六角氏的连络路线；另一方面，织田军正面攻撃道三所守的稻叶山城，在9月22