後に山内上杉家とは和解して次男の晴直(上杉憲寛)を同家の養子としている。