导致麾下鲑延秀纲离反、由利十二头的人质一部遇害，加上领内爆发仙北一揆、误中楯冈满茂之谋略诛杀八柏道为等等，造成势力减退。而与最上义光、户泽盛安争战，也造成雄胜郡及平鹿郡的部分领土丧失。
归顺秀吉及周边势力的抗争.天正13年（1585年），同盟势力庄内平野的大宝寺氏遭受最上义光的侵攻，义道也开始侵略最上领地。天正14年（1586年），最上义光与户泽盛安也入侵义道的领地，天正15年（1587年）义道与盛安议和，但仍与仙北七人众秋田郡的秋田实季争战。天正18年（1590年），率军参加