后来在嫡流衰退后，在军事上处于优势的是山内家和犬悬家。在上杉禅秀之乱中犬悬上杉氏没落，变成山内上杉氏和扇谷上杉氏之争，在相模的宅间上杉家的存在被埋没，不久后屈服于后北条氏。在上杉规富时期中被卷入小田原征伐，以后仕于德川氏。在关原之战中亦没有与同族的上杉景胜一起行动，而是作为德川配下的身份出阵。在江户时代称宅间氏，成为旗本并一直流传下去。