四男山野边义忠为新当主，最上氏顿时分裂并引发骚动，因而在元和8年（1622年）被将军德川秀忠以内乱不休为由改易至近江大森一万石，鲑延秀纲下野。
死亡.元和9年(1623年)，鲑延秀纲在幕府老中土井利胜的招揽下带同14名家臣远赴下总国佐仓出仕土井家，并在宽永10年（1633年）4月随利胜转封至古河。正保3年（1646年）病逝于古河，享寿84歳。其旧臣也在下总古河城下修建一所鲑延寺以纪念秀纲。
逸话.失去领地的鲑延秀纲丧失经济来源，一度要依靠家臣出外乞食供养，