12年（1543年）7月以后，祐向城、别府城等大桑城的支城相继陷落，最后大桑城亦被攻下，于是向母亲的实家朝仓氏的越前逃命。天文13年（1544年）8月，在朝仓孝景（宗淳）和尾张的织田信秀支援下，计划再次进入美浓，不过道三在6月已经收到情报。朝仓军以朝仓宗滴为总大将，从德山谷南下，在9月19日于赤坂与斎藤军合战，得胜后切断与六角氏的连络路线；另一方面，织田军正面攻撃道三所守的稻叶山城，在9月22日发动总攻撃，不过在城下亦有斋藤的军势，于是在入夜前中止攻撃，在撤退时遭到攻撃并大败，因为这次败战，于是与朝仓军