内爆发仙北一揆，而被追究责任，于是天正19年（1591年）所领的3分之1遭到没收，仅仅上浦郡3万1600石获得安堵。被没收的雄胜郡成为最上氏的领土，但由于是父祖辈传承下来的领地，义道不服判定的结果，仍然继续支配雄胜郡。之后臣属于丰臣氏，并跟随征讨九户政实之乱。文禄元年（1592年），参加文禄之役而抵达肥前国名护屋，后因功绩获得叙位及任官。文禄4年（1595年），误中最上义光的谋略而将家臣八柏道为诛杀。之后，义光为支配雄胜郡而命楯冈城主楯冈满茂率军攻陷汤泽城。汤泽城陷落后，岩崎城主岩崎义高向义道请求援