そしてこの29日に、関ヶ原において石田三成が指揮を執る西軍が、徳川家康が指揮を執る東軍に大敗を喫したという情報が、直江兼続のもとにもたらされた。敗報を知った兼続は自害しようとしたものの、前田利益（慶次郎）に諫められ、撤退を決断したとされる。翌9月30日、最上勢も関ヶ原の結果を知ることとなり、攻守は逆転する。10月1日、上杉軍が撤退を開始、最上伊達連合軍が追撃した。富神山の付近で陣頭に立つ最上義光の兜に銃弾が当たるなど激戦となり、両軍多くの死傷者を出した。追撃軍を迎え撃つため、直江兼続は自ら畑谷城に手勢と共に立てこもって殿をつとめ、10月3日に荒砥へ退却した。前田利益や水原親憲などの善戦もあり、兼続は鉄砲隊で最上軍を防ぎながら追撃を振り切り、10月4日に米沢城へ帰還した。『最上義光記』には「直江は近習ばかりにて少も崩れず、向の岸まで足早やに引きけるが、取って返し。追い乱れたる味方の勢を右往左往にまくり立て、数多討ち取り、この勢に辟易してそれらを追い引き返しければ、直江も虎口を逃れ、敗軍集めて、心静かに帰陣しけり」とある。