撤退。但翌年庆长6年（1601年），由于尾浦城主下秀久担任先导役引领最上义康军再次入侵，由于不敌而开城，并往米泽方向撤退。战后被命令于高野山蛰居。庆长8年（1603年），再度归参上杉家并担任荒砥城城代领有1000石知行。庆长12年（1607年）依照江户幕府指示再度蛰居，庆长16年（1611年）再度归参并担任侍大将。庆长19年（1614年）于大坂之阵仍有出纪录。元和8年（1622年）起历任诸司代・奉行郡代及政务奉行（国家老）。同年担任最上家改易的仕置奉行。元和9年（1623年）景胜死后，继续仕于上杉定胜，