大宝寺義氏
このように状況が悪化してゆくと大宝寺氏の庶流である砂越氏や来次氏も義氏から距離を置くようになり、次第に軍事力も失っていった。同年8月には同盟者である小野寺氏と由利衆との間に争いが勃発。この争いで由利衆は由利郡から小野寺氏の勢力排除に成功した為、由利郡南域を傘下に含む大宝寺勢力は由利郡に兵を出さざるを得ない状況となる。
天正11年(1583年)1月、義氏は、出羽山地の雪解けを前に最上氏の先手を打つために大軍を率いて由利郡へ侵攻した。しかし、安東氏、最上氏との内通により砂越・来次氏は出陣せず日和見したため兵力は不足、由利郡から勢力を後退させた小野寺氏からは援軍を得られず、折からの積雪や吹雪に足を取られたため劣勢を強いられ、安東氏に大敗を喫して荘内へと退却する。帰還した義氏は砂越・来次氏を懲罰する軍を編成し、側近の酒田代官・前森蔵人に指揮を預けたが、前森は一旦は出陣したものの、預かった兵力を逆手に尾浦城を包囲。この状況を見た義氏は観念し、城外の高館山にて自害した。享年33。義氏の最期については、暴政が多かったゆえに見限られたという憶測 があるが、『庄内年代記』『湊、檜山合戦覚書』などの史料は、前森が謀反を起こし、義氏は討ち取られたと淡白に記述するのみであり、その最期や謀反の理由については明白になっていない。
義氏の死後家督は藤島城主で弟の義興が継ぎ、また前森蔵人は東禅寺城に入り東禅寺義長(後に氏永に改名)と称し酒田を領した。結局、荘内の地は最上氏の下、東禅寺・来次・大宝寺・砂越の四氏がそれぞれ治める形となった。