被命令于高野山蛰居。庆长8年（1603年），再度归参上杉家并担任荒砥城城代领有1000石知行。庆长12年（1607年）依照江户幕府指示再度蛰居，庆长16年（1611年）再度归参并担任侍大将。庆长19年（1614年）于大坂之阵仍有出纪录。元和8年（1622年）起历任诸司代・奉行郡代及政务奉行（国家老）。同年担任最上家改易的仕置奉行。元和9年（1623年）景胜死后，继续仕于上杉定胜，翌年元和10年（1624年）也承办定胜的婚仪事宜。宽永9年（1632年）死去。家督由次男义繁继承。长男秀富过继给上泉秀纲成