像下继承了关东管领一职及山内上杉家家名（长尾氏本是平氏，继承上杉氏后便成藤原氏族人），改名上杉政虎，并得到了上野国的统治权。同年8月，进行了第四次川中岛之战，这是两军最大规模的战争，传说他曾直闯敌阵砍伤武田信玄。1561年11月，北条氏康开始反击，于武藏国生野山大败在川中岛损耗甚巨的上杉军（）。12月，将军足利义辉下赐偏讳，改名上杉辉虎。南下攻打关东同时，景虎也在1560年进军越中国，打着协助椎名康胤的旗号袭击神保家的领土，攻陷了富山城，当主逃往增山城。1562年，上杉军包围增山城，神保长职在能登畠山氏