。庆长12年（1607年）依照江户幕府指示再度蛰居，庆长16年（1611年）再度归参并担任侍大将。庆长19年（1614年）于大坂之阵仍有出纪录。元和8年（1622年）起历任诸司代・奉行郡代及政务奉行（国家老）。同年担任最上家改易的仕置奉行。元和9年（1623年）景胜死后，继续仕于上杉定胜，翌年元和10年（1624年）也承办定胜的婚仪事宜。宽永9年（1632年）死去。家督由次男义繁继承。长男秀富过继给上泉秀纲成为婿养子继承剑豪上泉家，名为上泉主水秀富。