家的长尾忠景取代白井长尾家而成为家宰，但是在忠景之孙显方一代，家宰职被足利长尾氏夺去（永正之乱）。后来，显方串通后北条氏，白井长尾氏和越后长尾氏陆续脱离山内上杉氏，但是被留在山内上杉方的长野氏的攻势所压制，因为白井长尾氏・景春之孙长尾景诚被暗杀，以及在长野业正的影响下，白井・总社两长尾氏复归山内上杉氏。在不久后，后北条氏势力已经渗入上野，主君‧山内上杉家当主上杉宪政把上杉氏一族之名让给长尾景虎（后来的上杉谦信），因此上野国的两长尾家亦仕于景虎（谦信）。谦信死后，上杉氏失去在上野的影响力。于是仕于武田